实体 Rode

Rode

PulseAugur coverage of Rode — every cluster mentioning Rode across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_216092 · Aug 24 · 04:00

新的RODE优化器解耦神经网络训练动态

研究人员推出RODE，一种用于神经网络的新型优化引擎，它将矩阵更新的径向和方向分量解耦。这种分离允许不同的更新规则和步长，从而实现更有效和可控的训练。在GPT-2上的实验证明了在范数控制和方向更新方面的改进，而在语言建模和图像分类任务上的比较显示RODE的性能优于Muon变体，实现了更低的损失和最终的全局范数。