研究人员分析了一种带初始正则化的随机梯度下降（SGDIR）变体，为其平方损失的期望超额风险推导出了无量纲上限。在无噪声情况下，研究人员在各种假设下为平均和非平均SGDIR建立了新的界限，其中一些界限达到了 $m^{-3+\epsilon}$ 的阶数。该研究还提出了一个在特定情况下与上限非常接近的下限，并在有噪声条件下包含了SGDIR与岭回归之间的基于实例的比较，表明SGDIR的风险具有可比性。在合成数据和真实数据上的数值实验都支持这些理论发现。 AI
影响 为与机器学习模型训练相关的优化算法提供了理论见解。
排序理由 该集群包含一篇详细介绍新算法理论分析的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
