Persistent Visual Memory

Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

研究人员引入了持久视觉记忆（PVM），这是一个旨在解决大型视觉语言模型（LVLMs）中“视觉信号稀释”问题的新型模块。该问题会导致随着生成文本序列的增长，视觉注意力减弱。PVM作为LVLM架构内的并行分支，为视觉嵌入提供了一条直接通路，以维持感知，尤其是在复杂的推理任务中。在Qwen3-VL模型上的实验表明，在参数增加极少的情况下，准确性得到了显著提高。