实体
RELTA-SGLD
RELTA-SGLD
PulseAugur coverage of RELTA-SGLD — every cluster mentioning RELTA-SGLD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 RELTA-SGLD 方案稳定了随机梯度学习
研究人员推出了一种新的驯服方案 RELTA-SGLD，旨在稳定非凸设置下的随机梯度更新。该方法通过使用驯服激活阈值和用于确定驯服强度的相对增长原则，旨在减少不必要的学习漂移抑制。该方案被证明在 Fashion-MNIST 上提供多项式矩稳定性和一阶平稳精度，优于未驯服的 SGLD 和 TUSLA，同时与 AdamW 保持竞争力。
-
新的RELTA-SGLD方法稳定非凸学习的SGLD
研究人员开发了RELTA-SGLD，这是一种新颖的驯服方案，旨在稳定具有超线性增长的随机梯度Langevin动力学（SGLD）。该方法使用阈值激活驯服，并采用相对增长原则调整其强度，从而减少对学习漂移不必要的抑制。RELTA-SGLD通过为非凸SGLD提供更好的矩稳定性和平稳精度，优于现有方案，在Fashion-MNIST上表现优于未驯服的SGLD和TUSLA，并与AdamW保持竞争力。