Pre-Layer Normalization

新论文发现稀疏性机制可改善LLM深度利用

一篇新的arXiv论文研究了稀疏性如何缓解大型语言模型（LLMs）中“深度的诅咒”。研究人员发现，隐式稀疏性（来自权重衰减等训练条件）和显式稀疏性（来自分组查询注意力或混合专家等架构选择）都有助于减少方差传播。这能更好地利用更深的层，并在下游任务上带来显著的4.6准确率提升，表明稀疏性是LLM有效深度扩展的关键因素。该研究提供了一个训练深度有效模型的实用方法，并附带GitHub上的代码。