实体 MuonH

MuonH

PulseAugur coverage of MuonH — every cluster mentioning MuonH across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_165105 · Jul 27 · 04:00

研究质疑超球优化器在深度学习中的优势

一篇题为“超球可能并非免费午餐”的新论文研究了超球式优化器在大规模深度网络训练中的性能。研究人员推导了一个角度有效学习率来分析优化器的行为，发现更新的径向分量对角度位移的直接影响有限。实验表明，超球变体之间的主要区别源于有效步长演变，而非更优的更新方向，这凸显了仔细调整学习率的重要性。