研究人员推出了一种新的驯服方案 RELTA-SGLD，旨在稳定非凸设置下的随机梯度更新。该方法通过使用驯服激活阈值和用于确定驯服强度的相对增长原则，旨在减少不必要的学习漂移抑制。该方案被证明在 Fashion-MNIST 上提供多项式矩稳定性和一阶平稳精度，优于未驯服的 SGLD 和 TUSLA，同时与 AdamW 保持竞争力。 AI
影响 引入了一种稳定随机梯度学习的新方法，有可能提高非凸优化任务的性能。
排序理由 该集群包含一篇详细介绍新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
