PulseAugur
实时 06:50:40
实体 Adana

Adana

PulseAugur coverage of Adana — every cluster mentioning Adana across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_239439 ·

    新研究表明优化器性能随训练范围变化

    一篇新研究论文探讨了在训练范围和参数数量增加时,不同优化器的性能表现。研究发现,像 Muon、SOAP、ADANA 和 AdamW 这样的优化器的最佳超参数和相对性能会随着训练的延长而显著改变。具体来说,首选的学习率调度可能会逆转,权重衰减系数会随着超训练因子的平方根进行缩放。ADANA 在超训练水平较高时,尤其是在采用对数时间权重衰减和动量冷却的情况下,显示出比 AdamW 持续的缩放优势,并与 SOAP 竞争。在大多数测试范围内,…