English(EN) Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer

Nora 优化器为大规模 LLM 训练实现效率、稳定性和速度

作者 PulseAugur 编辑部 · [2 个来源] · 2026-05-05 14:00

研究人员推出 Nora，这是一种新颖的基于矩阵的优化器，专为大型语言模型的高效稳定训练而设计。Nora 旨在统一效率、稳定性和速度，解决了 Muon 和 RMNP 等现有方法的局限性。该优化器稳定权重范数和角速度，近似结构化预处理，并实现 O(mn) 的计算复杂度，实现简单的两行代码实现。 AI

影响引入了一种新的优化技术，可以加速大规模 LLM 训练并提高稳定性。

排序理由该集群包含一篇 arXiv 预印本，详细介绍了 LLM 训练的新优化方法。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.LG TIER_1 English(EN) · Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie · 2026-05-06 04:00

Nora: 用于可扩展矩阵优化器的归一化正交行对齐

arXiv:2605.03769v1 Announce Type: new Abstract: Matrix-based optimizers have demonstrated immense potential in training Large Language Models (LLMs), however, designing an ideal optimizer remains a formidable challenge. A superior optimizer must satisfy three core desiderata: eff…
arXiv cs.LG TIER_1 English(EN) · Feiping Nie · 2026-05-05 14:00

Nora: 用于可扩展矩阵优化器的归一化正交行对齐

Matrix-based optimizers have demonstrated immense potential in training Large Language Models (LLMs), however, designing an ideal optimizer remains a formidable challenge. A superior optimizer must satisfy three core desiderata: efficiency, achieving Muon-like preconditioning to …