研究人员推出了DataVista,这是首个旨在评估多模态大语言模型(MLLMs)理解数据视频能力的基准测试。该基准测试包含961个真实世界的数据视频和6,775个问题,涵盖五个领域,评估数据感知、时间推理和叙事理解能力。对19个MLLMs的评估显示,Gemini-3.1-Pro的准确率最高,达到70.0%,但仍远低于人类专家水平,尤其在因果推理和叙事结构方面存在困难。 AI
影响 该基准测试旨在提高MLLMs理解复杂数据驱动视频内容的能力,这对于新闻和商业分析等应用至关重要。
排序理由 该集群描述了一个用于评估AI模型的新学术基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →