研究人员开发了一种优化满足 Polak-Łojasiewicz (PL) 条件的光滑目标的新方法，特别是在梯度样本受到马尔可夫噪声影响时。该方法为随机梯度下降 (SGD) 建立了高概率界限，在轻尾情况下是最优的，缩小了现有期望和高概率保证之间的差距。该工作还为重尾马尔可夫梯度引入了一种全样本裁剪块方法，实现了最优依赖于混合时间和尾部指数的高概率随机误差。 AI
影响 这项研究可能导致更健壮、更高效的机器学习模型训练，尤其是在梯度数据有噪声的情况下。
排序理由 学术论文，详细介绍了一种新的机器学习优化方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
