PulseAugur
中
实时 18:14:36
English(EN) Muse: Representation Geometry of Muon Beyond Normalized Momentum

新的“Muse”优化器探索LLM的表示几何

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一系列新颖的优化器“Muse”，专为大型语言模型设计，用于探索参数表示的几何特性。与标准的Muon风格优化器不同，Muse的更新受到正交化前每个参数块表示的影响。在LLaMA2-130M和LLaMA2-600M上的实验表明，平衡的非原生表示可以达到与原生表示相当的性能，而减小较短的维度会削弱缩放和单通道支持。 AI

影响 引入了新颖的优化技术，有望提高大型语言模型的训练效率和性能。

排序理由 该集群包含一篇学术论文，详细介绍了机器学习中优化器的新方法。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的“Muse”优化器探索LLM的表示几何

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群包含一篇学术论文，详细介绍了机器学习中优化器的新方法。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
77 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Da Chang, Qiankun Shi, Lvgang Zhang, Di He, Yaoshuai Ma, Ganzhao Yuan, Yongxiang Liu ·

    Muse：μ子超越归一化动量的表示几何

    arXiv:2607.14536v1 Announce Type: new Abstract: Muon-style optimizers apply a polar map to matrix momentum, but their updates also depend on the representation of each parameter block before orthogonalization. We study this representation choice as a form of optimizer geometry an…

  2. arXiv cs.LG TIER_1 English(EN) · Yongxiang Liu ·

    Muse：μ子超越归一化动量的表示几何

    Muon-style optimizers apply a polar map to matrix momentum, but their updates also depend on the representation of each parameter block before orthogonalization. We study this representation choice as a form of optimizer geometry and introduce {\method}, a family of Muon-style op…

相关实体

相关话题