Contrastive Attention

新研究通过注意力和眼动追踪增强视觉语言模型的视觉推理能力

两篇新研究论文探讨了增强视觉语言模型（VLMs）视觉推理能力的方法。第一篇论文“Focusing by Contrastive Attention”介绍了一种名为CARVE的无需训练的技术，该技术利用注意力模式提取任务相关的视觉信号，性能提升高达75%。第二篇论文“Thinking with Gaze”提出使用连续的眼动追踪数据作为监督信号，通过训练模型模仿人类获取证据的模式来指导VLMs的推理，特别是在医疗应用领域。