研究人员推出了OmniCompass,一个旨在全面评估多模态大语言模型(MLLMs)视频理解能力的新基准。该基准包含两个赛道:OmniCompass-VL用于视觉语言任务,OmniCompass-AV用于视听任务,每个赛道都包含时间基础、空间基础和问答。对50个MLLMs的评估显示,尽管专有模型普遍优于开源模型,但精确的时空基础和视听推理仍然是领先模型面临的重大挑战。 AI
影响 该基准旨在提供对MLLMs视频理解能力更全面的评估,突出基础和视听推理方面的改进领域。
排序理由 该集群描述了一篇介绍用于评估AI模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →