研究人员已将包括 Lion 和 Muon 在内的几种流行的深度学习优化器统一在随机 Frank-Wolfe 的框架下。这项工作为这些方法在非凸优化设置中建立了收敛保证，并引入了旨在处理重尾梯度噪声的鲁棒变体。这些新变体旨在提高 Lion 和 Muon 在机器学习任务中的实际适用性。 AI
影响 为流行的优化器提供了理论基础，可能带来更鲁棒、更高效的深度学习训练。
排序理由 学术论文，详细介绍了优化方法的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
