Yujin Joung

新方法解决大型视觉语言模型中的幻觉问题

研究人员开发了一种名为注意力空间对比引导（ACG）的新方法，以减少大型视觉语言模型（LVLMs）中的幻觉。这种无需训练、单次遍历的技术在自注意力层内运行，将模型的生成引导至视觉基础和语义准确的文本。ACG构建了图像条件和近似纯文本的注意力路径，从而在输出错误累积之前进行有效纠正。在CHAIR和POPE基准上的实验表明，与现有方法相比，ACG提高了忠实度并降低了延迟。