Akiyoshi Tomihari

新研究将 Transformer 优化问题与梯度异质性联系起来

一篇新研究论文探讨了 Transformer 模型在优化方面的挑战，特别是在微调场景下。该研究发现，梯度异质性（参数块之间梯度范数的变异）是导致标准基于梯度的优化方法（如 SGD）收敛困难的关键因素之一，与 Hessian 异质性共同作用。研究表明，自适应优化器（如 Adam）和基于符号的方法（如 SignSGD）对这种异质性不太敏感。论文还指出，层归一化的放置（Post-LN 架构表现出特别明显的异质性）对该问题有显著影响。实验验证…