一篇新发表在 arXiv 上的研究论文质疑了 Muon 优化器在大规模深度学习中的有效性，特别是在矩阵分解任务上。虽然有报道称 Muon 在大型语言模型训练中表现优于 Adam 和 AdamW 等优化器，因为它能近似正交化梯度更新，但本研究发现在受控的矩阵分解问题上，Muon 的表现并不持续优于 AdamW。研究表明，Muon 的一些报告优势可能是在之前测试其所处的复杂环境中的产物，而非其更新规则固有的好处。 AI
影响 这项研究提供了对优化器性能更细致的理解，可能指导未来大规模深度学习任务的选择。
排序理由 发表在 arXiv 上的研究论文，评估了一项 AI 优化技术。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
