Modular Addition

Muon训练的Transformer出现后涌现崩溃，失去泛化能力

一篇新研究论文探讨了在用Muon优化器训练的Transformer中一种被称为“后涌现崩溃”的现象。虽然Muon最初在模块化加法任务上表现出更快的学习速度，但模型最终会失去泛化能力。这种失败发生在模型内部表示与其输出层之间的接口处，在特定条件下，Muon优化器和AdamW嵌入的行为不同。研究表明，当模型中与任务对齐的组件被隔离时，可以恢复性能，这表明崩溃并非由于根本性的表示退化，而是表示-读出接口处的问题。