Zhe Gao

VideoTIR 方法使用 RL 改进 LLM 的长视频理解能力

研究人员开发了 VideoTIR，一种用于改进多模态大语言模型 (MLLM) 对长视频理解能力的新颖方法。VideoTIR 利用强化学习指导 MLLM 有效地使用工具包来解析和聚焦长视频内容中有意义的片段，从而减少幻觉并提高准确性。该系统集成了工具动作分组策略优化 (TAGPO)，通过分步奖励和重复利用失败尝试来提高效率，并结合了沙盒框架来生成高质量的训练数据。在三个长视频问答基准上的实验证明了 VideoTIR 的有效性和效率。