一个名为OccludeBench的新基准已被开发出来,用于测试视觉语言模型(VLM)在图像中推断缺失或被遮挡物体romino的能力。该基准显示,当前VLM在恢复被直接遮挡的物体(准确率为42.7%)方面,其表现明显差于从更广泛的场景上下文中推断(准确率为62.7%),而人类在这些任务之间的差异很小。一个名为OccludeTrace的诊断工具发现,VLM在从特定的视觉线索(如阴影或反射)中恢复物体时最为困难。提示技术和工具使用显示出不稳定的改进,但一项在评估前对候选物体进行修复(inpainting)的干预措施,显著缩小了具有图像生成能力的模型的性能差距。 AI
影响 突出了VLM视觉推理中的一个特定弱点,可能指导未来模型开发以获得更好的上下文理解和物体推断。
排序理由 该集群包含一篇介绍用于评估AI模型的新基准和诊断工具的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →