一篇新的研究论文探讨了用于改进大型语言模型（LLMs）的自蒸馏技术有时会损害其数学推理能力的原因。该研究发表在arXiv上，发现这种损害发生是因为该过程抑制了“认知言语化”，即模型在推理过程中表达不确定性。通过控制条件上下文的丰富度和任务覆盖范围，研究人员证明，抑制不确定性表达会导致快速的领域内优化，但会损害领域外性能。在Qwen3和Olmo3等多个模型中都观察到了这种效应，性能下降高达40%。研究结果强调了允许模型表达不确定性对于稳健推理的重要性，而不是仅仅关注强化正确答案的路径。 AI
影响 这项研究揭示了自蒸馏在大型语言模型中的一个潜在缺点，表明优化正确答案可能会通过抑制不确定性表达而无意中降低鲁棒性。
排序理由 发表在arXiv上的研究论文，详细介绍了关于大型语言模型能力的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
