Manifold-Guided Adaptive Projection

New decoding method tackles MLLM hallucinations by adapting language priors

研究人员开发了一种新的无需训练的解码方法，称为流形引导自适应投影（MGAP），以对抗多模态大语言模型（MLLMs）中的幻觉。该方法解决了模型生成与视觉输入不一致的对象的问题，这通常是由于过度依赖语言先验。MGAP通过识别并自适应地减弱构建的语言先验子空间中有问题的语言先验成分来工作，从而保留模型表示的基本语义结构。在POPE和CHAIR基准上的实验表明，MGAP在保持连贯性的同时有效抑制了幻觉，性能优于现有的解码基线。