Christoph Reisinger

论文详细介绍了 AdamW 训练的 Transformer 中的均匀缩放限制

研究人员发表了一篇论文，详细介绍了使用 AdamW 优化器训练的 Transformer 中的均匀缩放限制。该研究将隐藏状态动力学建模为一个相互作用的粒子系统，证明了其收敛到一个 ODE 的前向-后向系统。这种收敛速率取决于 Transformer 的深度和头数，并推导出了独立于 token 数量和嵌入维度的特定数学界限。