Abecassis, Felix et al.

新的 ALTO 方案支持 MoE LLM 的高效 MXFP4 训练

研究人员为 GPT-OSS-20B 混合专家模型开发了一种名为 ALTO 的新训练方案，使其能够使用 MXFP4 小于 8 位的算术格式进行有效训练。该方法结合了现有技术和简化的去振荡方案，与标准的 BF16 训练相比，显著降低了收敛开销。ALTO 方案成功缩小了大部分量化误差差距，实现了非常接近 BF16 基线的验证损失，并大大缩短了达到质量目标所需的收敛时间。