Nathan Godey

新研究强调LM头是主要的梯度瓶颈

来自arXiv的一篇新论文《Lost in Backpropagation: The LM Head is a Gradient Bottleneck》揭示，语言模型的最后一层（负责将特征投影到词汇logits）是一个重要的优化瓶颈。研究人员通过理论和实证证明，这一层会压缩95-99%的梯度，阻碍了即使是简单模式的学习，并影响了大型语言模型的训练动态。该论文认为，这一固有缺陷导致了规模化训练效率低下，与模型架构无关，并呼吁对LM头进行新设计。