研究人员推出MVGraph,一个旨在评估大型视觉语言模型(LVLM)在跨多个互联视觉图视图组合证据能力的新基准。现有基准通常侧重于单个图,忽略了在不同视角之间对齐和合并信息这一关键方面。MVGraph包含8,000个实例,涵盖8个图论任务,源自涉及部分和时间图视图的场景,每个问题都专门设计为无法仅从单个视图解决。该基准还提供诊断任务,以评估四项关键能力:感知、对齐、组合和推理,揭示了当前LVLM在跨视图边对齐和关系级组合方面存在的重大瓶颈。 AI
影响 该基准突显了LVLM从多个来源综合信息能力的重大局限性,可能指导未来模型开发朝着更强大的推理能力发展。
排序理由 该集群描述了一篇介绍AI模型评估基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →