VisualWorldBench-50K

新基准VisualWorldBench挑战多模态大语言模型在细粒度视觉知识方面的能力

研究人员推出了VisualWorldBench，一个旨在更严格地评估多模态大语言模型（MLLMs）视觉世界知识的新基准。现有基准因其类别覆盖范围狭窄以及允许模型通过肤浅理解就能成功的任务而受到批评。VisualWorldBench通过使用跨越八个领域、包含超过21,000个叶节点类别的分层分类法，并构建需要精确区分细粒度实体的任务来解决这些局限性。实验表明，即使是表现最佳的闭源模型在该基准上的平均准确率也仅为80.4%，凸显了显著的能力差距。