两篇新研究论文探讨了在重尾噪声条件下的优化技术。第一篇论文《具有重尾噪声的随机优化的量子加速》提出了一种新颖的量子均值估计器和一种量子归一化随机梯度下降方法(QNSGD),为某些优化问题提供了改进的查询复杂度。第二篇论文《狮子和μ子:重尾噪声下的随机Frank-Wolfe优化》将Lion和Muon等近期优化器重新解释为随机Frank-Wolfe的实例,并开发了鲁棒的变体以更好地处理重尾梯度噪声,提供了新的理论保证。 AI
影响 这些论文推进了对优化方法的理论理解,可能在梯度噪声较大的场景中,带来更高效、更鲁棒的AI模型训练。
排序理由 两篇在arXiv上发表的学术论文,详细介绍了机器学习的新优化技术。
- Lion
- Maria-Eleni Sfyraki
- Muon
- arXiv
- Bin Luo
- Lions and Muons: Optimization via Stochastic Frank-Wolfe under Heavy-Tailed Noise
- QNSGD
- QPSGD
- Quantum Speedups for Stochastic Optimization with Heavy-Tailed Noise
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →