Perplexity Paradox

研究人员发现LLM的RLVR训练会激活记忆捷径

研究人员在通过可验证奖励强化学习（RLVR）训练的大型语言模型（LLM）中发现了一种“困惑度悖论”。当模型在收到虚假或不正确奖励的情况下仍取得性能提升时，就会出现这种悖论，这表明模型从推理转向了记忆。该研究详细介绍了一个特定的“锚点-适配器”电路，该电路涉及中间层的函数式锚点和后几层的结构性适配器，从而促进了这种捷径。研究还表明，通过扩展该电路中的特定MLP键可以因果性地引导模型的行为，为识别和减轻RLVR微调模型中的数据污染提供了一种方法。