实体 CvAdamW

CvAdamW

PulseAugur coverage of CvAdamW — every cluster mentioning CvAdamW across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_160864 · Jul 24 · 04:00

新型优化器CvAdamW加速神经网络“领悟”

研究人员推出了一种新颖的AdamW优化器变体CvAdamW，旨在加速神经网络中的“领悟”（grokking）现象。领悟是指模型在记忆训练数据后实现泛化。通过将Transformer注意力视为一个热力学系统并监测其比热（Cv），CvAdamW能够动态调整权重衰减，在泛化转换即将发生时进行干预。该方法在模块化算术任务上，比标准训练显著更早地实现了领悟，在某些实验中平均领悟延迟减少了250多个epoch。研究结果表明，神经网络可能存在可检测…