研究人员推出了一种新颖的、一阶的优化器AdamX,它整合了余弦相似度来自适应地控制更新幅度。该方法旨在可扩展、模型无关,并易于集成到现有训练流程中。AdamX还采用了一种方差校正方案,以改善早期训练阶段的优化平滑度,并在各种基准测试中展示了具有竞争力的收敛速度。 AI
影响 引入了一种新的优化技术,可以提高各种机器学习模型的训练效率和收敛性。
排序理由 该集群包含一篇详细介绍机器学习新优化算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →