PulseAugur
中
实时 12:29:47
实体 Courtney Paquette

Courtney Paquette

PulseAugur coverage of Courtney Paquette — every cluster mentioning Courtney Paquette across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_327549 ·

    Muon 优化器分析揭示其与 SignSGD 相比的性能细微差别

    一篇题为“Muon 的阶段:Muon 何时超越 SignSGD”的新研究论文分析了 Muon(一种谱优化器)与 SignSGD 和 Adam 相比的性能和行为。该研究推导了明确的确定性动力学来理解学习行为,揭示 Muon 的性能对有效批次大小敏感,并且在精确白化和小批次大小的情况下会减慢收敛速度。该论文提供了一个阶段图,根据数据协方差谱和目标损失缩放指示何时 Muon 优于 SignSGD。

  2. TOOL · CL_27720 ·

    Muon 优化器分析揭示了与 SignSGD 不同的收敛阶段

    研究人员分析了随机谱优化器,包括 Muon,在一个高维矩阵值最小二乘问题中。他们的分析表明,Muon 所近似的 SignSVD,对于大批量大小,会相对于数据协方差谱进行平方根预处理。相比之下,较小的特征模式在小批量大小时表现得像 SGD,减缓了收敛速度,而 SignSGD 对通用协方差不提供预处理,导致不同的最优学习率和收敛特性。