一个名为EC-Bench的新基准已被开发出来，用于评估多模态大语言模型（MLLMs）在长视频上的定量推理能力。该基准包含152个视频的1600多个查询，每个视频时长超过30分钟，并附有人工验证的证据片段。目前的多模态大模型在该基准上的表现不佳，最好的模型在枚举方面的准确率仅为30%左右，在计数方面的准确率仅为24%，远低于人类表现。研究表明，计数错误通常与枚举相关实例和时间定位证据的困难有关，这表明视频计数更多的是证据检索和聚合，而非简单的算术。 AI
影响 凸显了当前多模态大模型在复杂视频理解任务中的显著局限性，表明需要改进时间推理和证据聚合能力。
排序理由 该集群包含一篇介绍用于评估多模态大模型的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
