Athulith Paraselli

视觉语言模型（VLMs）表现出偏好文本上下文而非视觉训练数据的偏见

一篇新的研究论文探讨了视觉语言模型（VLMs）如何处理其训练数据与提供的上下文之间冲突的信息。研究发现，VLMs表现出不对称的偏见，偏好基于文本的上下文信息，但在视觉实体方面依赖参数化（训练）数据。这归因于视觉信息处理时间更长，阻碍了现有知识的抑制。虽然思维链（chain-of-thought）推理未能解决此问题，但增加视觉上下文的数量确实显示出效果，凸显了在多模态和检索增强模型中实现一致行为所面临的挑战。