6.7B

SkewAdam 优化器将 MoE 训练内存减少 97%

一种名为 SkewAdam 的新优化器已被开发出来，可显著减少训练混合专家（MoE）模型所需的内存。该优化器通过采用分层分配策略，以不同精度级别处理骨干参数、专家参数和路由器参数，实现了 97.4% 的优化器状态内存缩减。这种优化使得一个拥有 67.8 亿参数的 MoE 模型能够运行在单个 40GB GPU 上，而不会影响收敛性或稳定性。