研究人员开发了 Turbo-Muon，这是一种新的预处理程序，旨在加速 Muon。Muon 是一种以其在大规模 AI 训练中的强大性能而闻名的优化器。Turbo-Muon 增强了 Newton-Schulz 迭代的初始化，减少了所需的矩阵乘法次数，并能够移除一次迭代。这种优化显著降低了 Muon 的开销，在无需进行超参数调整的情况下，在各种基准测试中将训练时间缩短了约 3%。该方法还提供了关于更新几何形状和潜在的特征崩溃鲁棒性的理论见解，代码可在 GitHub、optax 和 Hugging Face 上获取。 AI
影响 这项优化可以实现更大规模 AI 模型更快、更高效的训练，从而可能降低计算成本并加速研究。
排序理由 该集群描述了 arXiv 论文中提出的一种新的优化技术，详细介绍了其方法论和经验结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
