PulseAugur
中
实时 09:22:36
English(EN) Uniform Stability and Generalization Error of GD and SGD on Fixed-Point Parameters

新研究分析离散参数空间中的GD/SGD稳定性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员分析了梯度下降（GD）和随机梯度下降（SGD）算法在应用于具有舍入的离散参数空间时的泛化误差和稳定性。他们的发现表明，确定性舍入会恶化GD的泛化误差，增加其速率，并导致空泛的稳定性界限。相比之下，具有确定性舍入的SGD展示了非平凡的均匀稳定性保证，其界限与实值优化不同，并取决于迭代次数和维度。 AI

影响 为优化算法的行为提供了理论见解，可能影响未来的模型训练方法。

排序理由 这是一篇在arXiv上发表的研究论文，详细介绍了优化算法的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Jonghyun Shin, Sejun Park ·

    GD和SGD在固定点参数上的均匀稳定性和泛化误差

    arXiv:2606.06934v1 Announce Type: new Abstract: We analyze generalization error, uniform stability, and uniform argument stability of gradient descent (GD) and stochastic gradient descent (SGD) over discrete parameter spaces, where each update involves deterministic or stochastic…

相关实体

相关话题