SkewAdam

新的 SkewAdam 优化器大幅降低 MoE 训练内存使用量

研究人员开发了 SkewAdam，这是一种新颖的优化器，旨在显著减少专家混合 (MoE) 语言模型训练期间的内存使用量。通过在模型的各个组件——骨干网络、专家和路由器——之间不同地分配优化器状态，SkewAdam 与 AdamW 等标准优化器相比，大大降低了内存需求。这种内存效率使得训练能够适应更小的加速器预算，而不会影响准确性，SkewAdam 在受控实验中实现了优于其他优化器的验证困惑度，证明了这一点。