Cristian Sbrolli

新的基准测试流程Auto-Comp诊断视觉语言模型失败

研究人员开发了Auto-Comp，一个用于生成照片级真实感基准测试以测试视觉语言模型组合推理的新流程。该系统创建了并行的A/B样本，将孤立的最小对象场景与真实的上下文场景进行对比，以隔离绑定能力。对包括SigLIP在内的各种模型的评估显示，交换场景和混淆场景之间的性能存在显著差距，表明存在超越简单词袋模型限制的失败。研究还发现，虽然上下文有助于关系推理，但由于视觉混乱，它会阻碍属性绑定。