Karol Struniawski

研究发现：集中式 Dropout 会损害大型语言模型的推理能力

一篇新的 arXiv 论文研究了集中式与扩散式注意力头 Dropout 对自回归大型语言模型多步推理能力的影响。研究发现，与扩散式 Dropout 造成的适度性能下降相比，集中的 Dropout 显著损害了模型在 GSM8K 基准测试上的性能，导致 Qwen3-8B 等模型的准确率下降超过 12 个百分点。错误分析表明，集中式干扰会导致 Qwen3-8B 在格式化响应中出现推导错误，而 LLaMA-3.1-8B-Instruct 则出…