实体
Newton-Schulz iteration
Newton-Schulz iteration
PulseAugur coverage of Newton-Schulz iteration — every cluster mentioning Newton-Schulz iteration across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Muon 优化器在 Mamba-2 130M 上显示出代币效率提升
一篇新的研究论文探讨了 Muon 优化器的有效性，该优化器使用牛顿-舒尔茨迭代法在谱范数下进行最速下降，应用于状态空间模型。该研究将 Muon 与 AdamW 在 Mamba-2 130M 模型上进行了比较，发现仅将 Muon 应用于输出投影就能带来最显著的代币效率提升。这种优势在不同的语料库和训练时长中都得到了观察，并且不能用输入投影的条件改进来解释。
-
研究发现 Muon 优化器的 Grokking 速度归因于正交化
一篇新发表在 arXiv 上的研究论文详细介绍了 Muon 优化器在模运算中比 AdamW 更快的 Grokking 阈值背后的活性成分。该研究将正交化，特别是牛顿-舒尔茨迭代，确定为导致这种加速的关键机制。减少牛顿-舒尔茨迭代次数可以加速 Grokking，但会导致解决方案不稳定，而五次迭代被证明是各种学习率下最稳健的选择。
-
新的GUMP框架通过酉传播稳定图神经网络
研究人员推出了一种名为图酉消息传递（GUMP）的新型框架，旨在稳定深度神经网络，尤其是在图神经网络（GNNs）领域。GUMP通过在变换后的图上采用酉传播算子，解决了可学习参数和图传播算子均引起的稳定性问题。这种方法结合了图变换和酉投影程序，理论上确保了图传播项的深度稳定性，这与标准归一化传播中指数衰减的现象形成对比。在各种数据集上的实证结果表明，GUMP的性能优于标准的图消息传递方法，并且与其他强大的基线方法相比具有竞争力。