Prior Directions

新研究发现视觉语言模型中存在“视觉锁定”现象

研究人员在视觉语言模型中发现了一种称为“视觉锁定”的现象，其中过时的语言描述可能导致对当前场景做出错误决策。当模型内部表征的变化（由先前信息触发）集中在特定的“先前方向”时，就会发生这种情况。研究发现，表现出更强锁定效应的模型，其变化以紧凑、可重用的模式组织。移除与这些先前方向对齐的组件的干预措施恢复了正确的视觉基础，这表明这些模式的一致性决定了模型更新其理解的难易程度。