实体 Devan Selvaraj

Devan Selvaraj

PulseAugur coverage of Devan Selvaraj — every cluster mentioning Devan Selvaraj across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_352348 · Nov 11 · 05:00

新论文发现 Muon 优化器中存在缩放问题

一篇新论文探讨了 Muon 优化器的缩放定律，Muon 是一种 Adam 优化器的潜在替代方案。该研究在理论和实践上都证明，随着规模的增大，随机矩阵的奇异值减小，Muon 中的迭代正交化过程可能会遇到问题。然而，该论文并未提出解决这一已识别缩放行为的方案。