研究人员推出了VisualWorldBench,一个旨在更严格地评估多模态大语言模型(MLLMs)视觉世界知识的新基准。现有基准因其类别覆盖范围狭窄以及允许模型通过肤浅理解就能成功的任务而受到批评。VisualWorldBench通过使用跨越八个领域、包含超过21,000个叶节点类别的分层分类法,并构建需要精确区分细粒度实体的任务来解决这些局限性。实验表明,即使是表现最佳的闭源模型在该基准上的平均准确率也仅为80.4%,凸显了显著的能力差距。 AI
影响 该基准有望通过推动多模态大语言模型发展更深入、更精确的视觉理解能力,从而使其更加强大。
排序理由 该集群描述了一篇介绍用于评估AI模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →