研究人员探索自适应优化器中的负预条件指数

研究人员调查了自适应优化器中负预条件指数的影响，特别是检查了它们与全局学习率的相互作用。通过在四个不同环境中的对照研究，他们发现最优指数几乎线性地随着学习率的对数而减小。这表明负指数并非普遍最优，而是学习率和预条件联合作用产生的一种状态，尤其是在较大的步长下。该研究还强调了模型选择中的一个冲突：源域验证偏好与最大化环境变化鲁棒性的预条件状态不同。 AI

影响 这项研究可能带来更鲁棒、更具泛化能力的机器学习模型自适应优化器。

排序理由 该集群包含一篇在arXiv上发表的研究论文，详细介绍了对自适应优化器的研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Adam
• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• cs.LG
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Litmaps
• ScienceCast
• scite Smart Citations

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →