实体 Muon-SW

Muon-SW

PulseAugur coverage of Muon-SW — every cluster mentioning Muon-SW across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_167392 · Jul 28 · 04:00

新的缩放权重衰减方法加速神经网络训练

研究人员引入了一种新颖的缩放权重衰减方法，该方法受Robbins-Monro条件的启发，以改进神经网络训练。该技术根据峰值学习率的比例调整权重衰减，确保渐近平稳性，并避免恒定权重衰减引入的偏差。当应用于使用Muon优化器的混合专家模型时，这种缩放权重衰减（Muon-SW）显示出显著的加速效果，在大规模训练中，达到目标验证损失的速度最多可提高30%。