新研究论文分析 AdamW 优化器的内存效应

研究人员开发了一种方法来分析 AdamW 优化器中小批量扰动的延迟效应。通过将 AdamW 建模为有限时域输入-状态-输出系统，他们可以将局部梯度变化映射到其对训练损失的未来影响。这种方法揭示了优化器的内存如何影响这些效应的大小、时间和符号，从而提供了一种分解误差和近似未来影响的方法。 AI

影响 为理解和潜在改进深度学习优化器的稳定性和性能提供了理论框架。

排序理由 该条目是一篇提交到 arXiv 的研究论文，详细介绍了优化算法的理论分析和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AdamW
• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• Connected Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv Recommender
• Influence Flower
• Litmaps
• machine learning
• ScienceCast
• scite Smart Citations

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →