Taiki Miyanishi

新的EC-Bench揭示多模态大模型在长视频计数方面存在困难

一个名为EC-Bench的新基准已被开发出来，用于评估多模态大语言模型（MLLMs）在长视频上的定量推理能力。该基准包含152个视频的1600多个查询，每个视频时长超过30分钟，并附有人工验证的证据片段。目前的多模态大模型在该基准上的表现不佳，最好的模型在枚举方面的准确率仅为30%左右，在计数方面的准确率仅为24%，远低于人类表现。研究表明，计数错误通常与枚举相关实例和时间定位证据的困难有关，这表明视频计数更多的是证据检索和聚合，而非简单的算术。