Siqu Ou

新模型SAYO增强了多模态大语言模型的视觉注意力

研究人员推出了一种新颖的视觉推理模型SAYO，旨在增强多模态大语言模型（MLLMs）的注意力能力。当前的MLLMs在稳定的视觉注意力方面存在困难，常常无法纠正早期的视觉错位，从而导致级联错误。SAYO通过采用强化学习框架来解决这个问题，该框架包含一个基于区域级别视觉注意力的奖励，明确指导模型学习更可靠的注意力行为。在各种多模态基准测试上的实验表明，SAYO显著提高了推理和感知任务的性能。