实体
Alexander Molozhavenko
Alexander Molozhavenko
PulseAugur coverage of Alexander Molozhavenko — every cluster mentioning Alexander Molozhavenko across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的Skewon算法在Stiefel流形上提供精确的闭式优化
研究人员开发了Skewon，这是一种用于处理具有正交列的矩阵问题的新的优化算法，这是机器学习中的常见结构。该算法为Stiefel流形上的Muon优化方法提供了精确的闭式解，克服了先前近似或迭代方法的局限性。Skewon还为平滑的非凸优化任务提供了高阶收敛保证，并且有高效的实现可用。
-
新的优化器 DMuon 和 HiMuon 提升 AI 训练效率 · 已追踪 6 个来源
研究人员开发了两种新的优化技术 DMuon 和分层 Muon (HiMuon)，以提高基于矩阵正交化的优化器（如 Muon）的效率。DMuon 可集成到现有训练流程中，显著加快基础模型和大型语言模型的训练速度，将延迟接近 AdamW 水平。而 HiMuon 则采用分块方法进行 Newton-Schulz 更新，减少计算量，并实现 transformer 训练的高效 GPU 利用。此外，Tensorion 被引入作为 Muon 的张量感…