Yupeng Su

MuonQ 框架支持 LLM 训练的 4 位量化，降低内存使用量

研究人员开发了 MuonQ，一个旨在为训练大型语言模型实现 Muon 优化器低比特量化的新框架。MuonQ 通过采用预量化归一化、保护定向信息的结构分解以及用于更好分配分辨率的 $\mu$-律压扩量化，解决了 Muon 优化器对量化误差的敏感性问题。使用 GPT 风格和 LLaMA 风格模型的实验表明，4 位精度的 MuonQ 在训练损失和下游准确性方面可与全精度 Muon 相媲美，同时将优化器状态内存显著降低高达 7.3 倍。