CAVIN2

新框架 SDPR 旨在解决大型视觉语言模型中的幻觉问题

研究人员推出了一种新颖的、无需训练的框架——显著性驱动的感知重对齐 (SDPR)，旨在解决大型视觉语言模型 (LVLM) 中的幻觉问题。SDPR 通过将注意力从非语义 token 转移，并对齐 KV 缓存以保留查询相关特征来解决推理过程中的视觉降级问题。此外，它还采用先验约束对比解码来惩罚有语言偏见的预测。实验表明，SDPR 在对各种 LVLM 架构几乎没有运行时影响的情况下，能有效减少幻觉并提高整体性能。