MuLoCo

MuLoCo 框架使用 Muon 优化器增强 LLM 训练

研究人员推出 MuLoCo，一个旨在优化 DiLoCo 系统内大型语言模型 (LLM) 训练的新框架。MuLoCo 通过关注内部优化器的作用，解决了随着工作节点数量增加而观察到的 DiLoCo 性能下降问题。实验表明，与标准的 DiLoCo 和数据并行方法相比，使用 Muon 优化器的 MuLoCo 在各种规模下都能产生改进的伪梯度质量和卓越的模型训练性能。