研究人员已从理论上证明，在光滑凸优化中，随机重排（RR）优于标准的随机梯度下降（SGD）。此前，尽管RR取得了经验上的成功，但由于理论上的限制限制了其步长和收敛速度，它一直被认为是一种启发式方法。这项新工作确立了在任何合理的步长和任何有限的训练周期后，RR都优于SGD，从而解决了该领域一个长期存在的悬而未决的问题。 AI
影响 为一种广泛使用的优化技术提供了理论基础，可能导致更高效的AI模型训练。
排序理由 在arXiv上发表的学术论文，详细介绍了优化算法的理论进展。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.32005v1 Announce Type: cross Abstract: Stochastic Gradient Descent ($\textsf{SGD}$) is one of the most classical optimization algorithms with favorable theoretical guarantees, yet the practical implementation of $\textsf{SGD}$ differs subtly from its well-known form an…
Stochastic Gradient Descent ($\textsf{SGD}$) is one of the most classical optimization algorithms with favorable theoretical guarantees, yet the practical implementation of $\textsf{SGD}$ differs subtly from its well-known form and is often referred to as Shuffling Stochastic Gra…