实体
EC-Bench
EC-Bench
PulseAugur coverage of EC-Bench — every cluster mentioning EC-Bench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的EC-Bench揭示多模态大模型在长视频计数方面存在困难
一个名为EC-Bench的新基准已被开发出来，用于评估多模态大语言模型（MLLMs）在长视频上的定量推理能力。该基准包含152个视频的1600多个查询，每个视频时长超过30分钟，并附有人工验证的证据片段。目前的多模态大模型在该基准上的表现不佳，最好的模型在枚举方面的准确率仅为30%左右，在计数方面的准确率仅为24%，远低于人类表现。研究表明，计数错误通常与枚举相关实例和时间定位证据的困难有关，这表明视频计数更多的是证据检索和聚合，而非简单的算术。
-
新基准解决大语言模型知识编辑中的“实体同一性混淆”问题
研究人员发现了一种多模态知识编辑中的新故障模式，称为实体同一性混淆（EIC）。在这种模式下，经过编辑的视觉语言模型会将新的实体信息错误地与原始图像-实体绑定关联起来。这种混淆的出现是因为当前的编辑方法难以区分图像-实体关系和实体-实体关系知识，导致模型将新实体名称仅仅用作标签，而不是更新核心关联。论文提出了诊断基准和缓解策略，例如将编辑重点放在图像-实体处理阶段，以提高知识编辑的忠实度。