Steven McClendon

研究发现，Transformer中的大规模激活遵循可预测的生命周期

研究人员详细介绍了Transformer模型中大规模激活的生命周期，这些激活是大规模残差流与注意力汇聚点相关联的坐标。研究表明，这些携带汇聚点的通道在训练早期就会稳定下来，并随着时间的推移整合到少数冗余的载体上。一个关键的发现是，权重衰减在因果关系上调节了这些激活的总体规模，移除权重衰减会允许持续增长，而保留权重衰减则会导致下降。该研究提出了一个平衡模型，其中AdamW预处理的增长与权重衰减相对抗，影响峰值激活的时间和幅度。