Fresh-State Attention Firewall

VLM复用旧推理，新防火墙对抗文本捷径

研究人员发现，视觉语言模型（VLM）中存在一种现象，即模型会复用先前的推理链（思维链或CoT），而不是根据新的视觉证据重新计算。这种“文本捷径”在包含先前CoT中的证据内容时尤其有效。为了对抗这种现象，研究人员提出了一种新的无需训练的干预方法，称为Fresh-State Attention Firewall (FSAF)。FSAF显著提高了VLM用新的视觉信息更新其推理的比率，并大大降低了对过时先前答案的依赖。