PulseAugur
中
实时 20:38:45
实体 Yanzhe Chen

Yanzhe Chen

PulseAugur coverage of Yanzhe Chen — every cluster mentioning Yanzhe Chen across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_339222 ·

    Muon 优化器研究揭示了复杂的预训练动态和微调权衡

    近期研究探讨了 Muon 优化器在大语言模型预训练中的性能,揭示了与经典梯度下降理论不同的细微行为。一项研究表明,Muon 在大步长下的动态行为偏离了稳定性边缘(EoS)的图景,损失中性和时间对齐独立响应学习率和批量大小。另一篇论文研究了 Muon 和 AdamW 之间的微调差距,发现经过广泛预训练后,尤其随着模型尺寸的增加,AdamW 的性能可能优于 Muon。第三项分析表明,虽然 Muon-SW 提供了随模型尺寸增长的微小实际优势…