Ziqi Wen

新框架揭示VLM场景理解与人类存在差距

一项新的研究论文介绍了一种名为反事实语义显著性（CSS）的框架，旨在评估大型视觉语言模型（VLMs）与人类相比对复杂场景的理解程度。通过因果性地移除场景中的对象并测量由此产生的语义变化，CSS揭示了VLMs存在诸如过度依赖大型、中心或高度显著对象等偏见。研究发现，模型比人类观察者更不可能关注场景中的人物，而这种尺寸偏见是AI与人类场景理解之间差异的关键因素。