Open-o3-Video

新的SER方法通过语义证据奖励增强视频MLLM推理 · 跟踪4个来源

研究人员开发了一种名为语义证据奖励（SER）的新方法，以提高视频多模态大语言模型（Video MLLMs）的时空推理能力。现有模型在细粒度推理方面常常遇到困难，有时会使用不相关的帧或对象来回答问题。SER通过将证据定位重构为验证任务来解决这个问题，使用一个裁判VLM来评估生成证据的相关性和定位质量，从而减少对密集标注的需求。这种方法通过在V-STAR基准上提高3.0个点来增强答案准确性和证据定位，如所证明的。