研究人员推出了EvaOmni,一个旨在评估全模态大语言模型视听推理能力的新基准。该基准要求模型不仅要回答问题,还要识别和定位支持其答案的具体视听证据,以解决现有基准可能允许“走捷径”的局限性。EvaOmni包含392个视频中的1,027个人工标注问答对,涵盖15种不同的能力。在评估中,Gemini3.7-Flash表现出最高的整体性能,准确率为79.4%,但其在证据关联和时间定位方面的得分表明先进模型仍有改进空间。 AI
影响 该基准将推动多模态AI系统中更强大的视听推理能力的发展。
排序理由 该集群描述了一个用于评估AI模型的新学术基准。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →