PulseAugur
中
实时 12:19:17
实体 Spectrally Targeted Muon

Spectrally Targeted Muon

PulseAugur coverage of Spectrally Targeted Muon — every cluster mentioning Spectrally Targeted Muon across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_284278 ·

    新研究探讨 Muon 优化器在 LLM 训练中的频谱整形

    两篇新研究论文探讨了 Muon 优化器在训练大型语言模型方面的有效性和细微差别。第一篇论文《Spectrally Targeted Muon》介绍了一种选择性正交化奇异值的方法,在标准 SGD 和 Muon 之间进行插值,以了解哪些频谱分量对性能最关键。第二篇论文《Does Muon Need Fine-Grained Spectral Shaping?》提出了一种更简单的双频带频谱重加权框架 BulkBoost,该框架与 Freon…