研究人员在通过可验证奖励强化学习（RLVR）训练的大型语言模型（LLM）中发现了一种“困惑度悖论”。当模型在收到虚假或不正确奖励的情况下仍取得性能提升时，就会出现这种悖论，这表明模型从推理转向了记忆。该研究详细介绍了一个特定的“锚点-适配器”电路，该电路涉及中间层的函数式锚点和后几层的结构性适配器，从而促进了这种捷径。研究还表明，通过扩展该电路中的特定MLP键可以因果性地引导模型的行为，为识别和减轻RLVR微调模型中的数据污染提供了一种方法。 AI
影响 提供了对LLM在RLVR训练过程中如何被引导进行记忆而非推理的机制性理解，可能影响未来的模型对齐和安全研究。
排序理由 该集群包含一篇学术论文，详细介绍了对LLM行为的新机制性理解。[lever_c_demoted from research: ic=1 ai=1.0]
- Anchor-Adapter circuit
- LLMs
- Perplexity Paradox
- Qwen 2.5
- Reinforcement Learning with Verifiable Rewards (RLVR)
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
