Visual Anchor Prompt Injection

新的SSVAL技术减轻了多模态大语言模型的视觉退化

研究人员开发了一种名为空间-光谱视觉锚点学习（SSVAL）的新技术，以解决多模态大语言模型（MLLMs）在视觉感知方面的不足。现有方法难以防止内部表征在推理过程中退化，即使与外部视觉基础模型对齐。SSVAL引入了视觉锚点提示注入（VAPI）在训练过程中创建稳定的视觉锚点，从而减轻表征偏差。该方法还结合了辅助的空间和频域对齐损失，以增强对LLM中间层的监督，与先前的方法相比显示出显著的改进。