新型优化器CvAdamW加速神经网络“领悟”

研究人员推出了一种新颖的AdamW优化器变体CvAdamW，旨在加速神经网络中的“领悟”（grokking）现象。领悟是指模型在记忆训练数据后实现泛化。通过将Transformer注意力视为一个热力学系统并监测其比热（Cv），CvAdamW能够动态调整权重衰减，在泛化转换即将发生时进行干预。该方法在模块化算术任务上，比标准训练显著更早地实现了领悟，在某些实验中平均领悟延迟减少了250多个epoch。研究结果表明，神经网络可能存在可检测的泛化前兆，可以利用这一点来实现更高效的训练。 AI

影响 通过加速泛化，可能减少大型神经网络的训练时间和计算成本。

排序理由 该集群包含一篇详细介绍神经网络新优化技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• AdamW
• arXiv
• Chitraansh Pandey
• CvAdamW
• DagsHub
• grokking
• Hugging Face
• Transformer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →