研究人员开发了 MuonQ，一个旨在为训练大型语言模型实现 Muon 优化器低比特量化的新框架。MuonQ 通过采用预量化归一化、保护定向信息的结构分解以及用于更好分配分辨率的 $\mu$-律压扩量化，解决了 Muon 优化器对量化误差的敏感性问题。使用 GPT 风格和 LLaMA 风格模型的实验表明，4 位精度的 MuonQ 在训练损失和下游准确性方面可与全精度 Muon 相媲美，同时将优化器状态内存显著降低高达 7.3 倍。 AI
影响 实现了 LLM 训练的显著内存降低，可能使更大的模型更易于访问。
排序理由 该项目是一篇关于优化 LLM 训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
