一篇新论文挑战了Muon优化算法的理论基础，证明它在凸Lipschitz函数上不收敛。研究表明，Muon的实际成功可能源于这种经典模型未能捕捉到的平滑特性。虽然误差反馈可以恢复理论收敛性，但它会降低在关键深度学习任务中的实际性能。 AI
影响 挑战了对一种流行优化算法的理论理解，可能影响未来深度学习方法的发展。
排序理由 分析优化算法理论收敛特性的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Muon and its variants have shown strong empirical performance in a variety of deep learning tasks. Existing convergence analyses of Muon rely on smoothness assumptions, though arguably the most successful function class for developing deep learning methods (such as AdaGrad, Shamp…