研究人员推出 iMuon,一种专为机器学习中流形值参数设计的新型优化框架。该方法通过保持各种矩阵流形(包括固定秩、SPD、Stiefel 和 Grassmann)上的对称性和耦合约束,解决了 Muon 等现有优化器的局限性。iMuon 提供闭式更新,并建立与流形维度和条件无关的收敛速率,在 LoRA 微调 LLM、图像分类和子空间学习的实验中证明了其有效性。 AI
影响 引入了一种新颖的优化方法,可以提高 LLM 微调和其他基于流形的学习任务的效率和适用性。
排序理由 该集群包含一篇详细介绍机器学习新优化框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- iMuon
- LoRA+
- Muon
- Nanyang Technological University
- Riemannian Matrix Manifolds
- Yibang Li
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →