VST-7B

新的VST范式使VideoLLMs能够同时观看和思考

研究人员推出了一种名为视频流思考（VST）的新范式，旨在使在线视频大语言模型（VideoLLMs）能够同时处理和推理视频内容。该方法通过将逻辑推理与传入的视频流相结合，旨在提高实时理解和认知能力，从而降低延迟。VST框架包括一个包含VST-SFT的后训练管道，用于将离线模型适应流式推理，以及通过自我探索进行端到端改进的VST-RL。在StreamingBench和OVO-Bench等基准上的评估证明了VST在各种视频理解任务中的效率和强大性能。