Kejian Zhu

新的MMR-V基准揭示LLM在深度视频推理方面存在困难

引入了一个名为MMR-V的新基准，用于评估大型语言模型（LLM）在处理视频内容时的多模态深度推理能力。与侧重于简单帧匹配的现有基准不同，MMR-V要求模型执行长距离、多帧推理，并推断超出直接感知的信息。使用MMR-V进行的实验（包含317个视频中的1,257个任务）显示，即使是像Gemini 2.5 Pro这样的先进模型也面临困难，准确率仅为64.3%，而像Chain-of-Thought这样的常用推理增强策略改进有限。