研究人员推出了一系列新颖的优化器“Muse”，专为大型语言模型设计，用于探索参数表示的几何特性。与标准的Muon风格优化器不同，Muse的更新受到正交化前每个参数块表示的影响。在LLaMA2-130M和LLaMA2-600M上的实验表明，平衡的非原生表示可以达到与原生表示相当的性能，而减小较短的维度会削弱缩放和单通道支持。 AI
影响 引入了新颖的优化技术，有望提高大型语言模型的训练效率和性能。
排序理由 该集群包含一篇学术论文，详细介绍了机器学习中优化器的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.14536v1 Announce Type: new Abstract: Muon-style optimizers apply a polar map to matrix momentum, but their updates also depend on the representation of each parameter block before orthogonalization. We study this representation choice as a form of optimizer geometry an…
Muon-style optimizers apply a polar map to matrix momentum, but their updates also depend on the representation of each parameter block before orthogonalization. We study this representation choice as a form of optimizer geometry and introduce {\method}, a family of Muon-style op…