实体
Gram Newton-Schulz
Gram Newton-Schulz
PulseAugur coverage of Gram Newton-Schulz — every cluster mentioning Gram Newton-Schulz across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Dion3优化器将AI训练时间缩短高达6倍
研究人员开发了Dion3，这是Muon优化器的一个优化版本，旨在减少计算和通信开销。新的Gram Newton-Schulz算法，以及CuTeDSL内核和兆批处理策略，显著加快了正交化过程。Dion3在实现与Muon相当或更好的性能的同时，将优化器步进时间缩短了高达六倍，并且可以作为即插即用型替代品使用。
-
Dion3 优化 Muon 优化器，实现 6 倍加速
研究人员开发了 Dion3，这是 Muon 优化器的一个优化版本，可显著降低计算和通信开销。通过实现诸如 Gram Newton-Schulz 算法、使用 CuTeDSL 进行内核级增强以及仅选择动量矩阵一部分的更新规则等算法改进，Dion3 在保持或提高性能的同时，优化器步进时间最多可减少 6 倍。Dion3 的代码可作为 Muon 的即插即用替代品。