实体 Muon$^p$

Muon$^p$

PulseAugur coverage of Muon$^p$ — every cluster mentioning Muon$^p$ across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_91437 · Jun 15 · 04:00

新的Muon^p优化器增强了大模型的微调

研究人员推出了一种名为Muon$^p$的优化技术，该技术通过使用分数谱幂更新来改进现有的Muon优化器。该方法在完全谱展平和标准梯度下降之间进行插值，旨在保留有价值的奇异值信息以实现更好的适应性。Muon$^p$在微调大规模模型方面特别有效，在验证困惑度和下游任务性能方面均有所提高，同时保持与Muon相似的计算复杂度。