HKUSTDial

新的DataVista基准测试评估多模态大语言模型的数据视频理解能力

研究人员推出了DataVista，这是首个旨在评估多模态大语言模型（MLLMs）理解数据视频能力的基准测试。该基准测试包含961个真实世界的数据视频和6,775个问题，涵盖五个领域，评估数据感知、时间推理和叙事理解能力。对19个MLLMs的评估显示，Gemini-3.1-Pro的准确率最高，达到70.0%，但仍远低于人类专家水平，尤其在因果推理和叙事结构方面存在困难。