实体 Naoki Satō

Naoki Satō

PulseAugur coverage of Naoki Satō — every cluster mentioning Naoki Satō across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_80003 · Jun 9 · 04:00

Muon^2 优化器提升基础模型训练效率

研究人员开发了 Muon$^2$，这是 Muon 优化器的一个增强版本，专为大规模基础模型预训练而设计。Muon$^2$ 在正交化之前加入类 Adam 的自适应二阶矩预处理，从而提高了效率和质量，解决了 Muon 迭代正交化过程相关的计算成本问题。使用多达 130 亿参数的 GPT、LLaMA 和专家混合（Mixture-of-Experts）模型进行的实验表明，与 Muon 相比，Muon$^2$ 将牛顿-舒尔茨（Newton-Sc…