一篇新的 arXiv 论文研究了集中式与扩散式注意力头 Dropout 对自回归大型语言模型多步推理能力的影响。研究发现，与扩散式 Dropout 造成的适度性能下降相比，集中的 Dropout 显著损害了模型在 GSM8K 基准测试上的性能，导致 Qwen3-8B 等模型的准确率下降超过 12 个百分点。错误分析表明，集中式干扰会导致 Qwen3-8B 在格式化响应中出现推导错误，而 LLaMA-3.1-8B-Instruct 则出现了更高的最终答案缺失率。 AI
影响 突显了 Transformer 架构中的一个漏洞，可能为未来的模型鲁棒性和训练方法提供信息。
排序理由 研究论文发布在 arXiv 上，详细介绍了关于大型语言模型推理能力的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
