实体
Dion
Dion
PulseAugur coverage of Dion — every cluster mentioning Dion across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
LionMuon 优化器通过混合方法降低 LLM 预训练成本
研究人员开发了 LionMuon，这是一种旨在降低预训练大型语言模型的高昂计算成本的新型优化器。LionMuon 在计算成本高昂的谱步（类似于 Muon）和成本较低的符号步（类似于 Lion）之间交替进行。这种混合方法利用共享的动量缓冲区，旨在与现有的优化器（如 AdamW、Lion 和 Signum）相比，以更少的训练时间和更小的内存占用实现更低的损失。在 FineWeb 上训练的模型进行的实验证明了 LionMuon 在达到更低损…
-
Dion3优化器将AI训练时间缩短高达6倍
研究人员开发了Dion3，这是Muon优化器的一个优化版本，旨在减少计算和通信开销。新的Gram Newton-Schulz算法，以及CuTeDSL内核和兆批处理策略，显著加快了正交化过程。Dion3在实现与Muon相当或更好的性能的同时，将优化器步进时间缩短了高达六倍，并且可以作为即插即用型替代品使用。
-
Dion3 优化 Muon 优化器，实现 6 倍加速
研究人员开发了 Dion3，这是 Muon 优化器的一个优化版本，可显著降低计算和通信开销。通过实现诸如 Gram Newton-Schulz 算法、使用 CuTeDSL 进行内核级增强以及仅选择动量矩阵一部分的更新规则等算法改进，Dion3 在保持或提高性能的同时，优化器步进时间最多可减少 6 倍。Dion3 的代码可作为 Muon 的即插即用替代品。