stochastic approximation
PulseAugur coverage of stochastic approximation — every cluster mentioning stochastic approximation across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新技术分析Q学习的收敛性和随机逼近中的偏差
研究人员开发了一种新技术，用于分析非光滑收缩随机逼近（SA）动力学，这与Q学习特别相关。该研究在Wasserstein距离下，对加性噪声以及加性和乘性噪声的同步/异步Q学习的迭代弱收敛到平稳极限分布进行了证明。引入了一种新颖的预极限耦合方法，以证明稳态收敛并表征步长趋近于零时的极限分布，揭示了与光滑SA不同，存在与步长平方根成比例的渐近偏差。
-
四篇arXiv论文推进随机优化理论 · 跟踪4个来源
四篇新研究论文发表在arXiv上，探讨了随机优化方法的高级收敛性质。第一篇论文为具有收缩性、马尔可夫性和乘性噪声的随机逼近的稳态收敛性引入了统一理论，在Wasserstein-2距离上实现了最优的$O(\sqrt{\alpha})$速率。另一篇论文证明了带裁剪和加性高斯噪声的随机梯度下降的几乎处处收敛性，并将其扩展到动量变体。第三项研究分析了重尾噪声和Hölder平滑下SGD的收敛速率，为具有挑战性条件下的梯度裁剪方法提供了新的保证。…
-
新的统一方法为收缩随机逼近提供了界限
研究人员开发了一种新颖的统一方法，用于建立随机逼近（SA）算法的均方界限和集中界限。该方法处理任意范数下的收缩映射和乘性噪声模型，这些在强化学习中很常见。新技术避免了复杂的平滑或包络构造，而是使用平均噪声序列和辅助迭代来推导直接的李雅普诺夫漂移不等式。这使得SA在乘性噪声下首次获得亚高斯尾部最大集中界限，步长可以对置信度进行对数依赖。
-
新研究论文为注意力机制提供理论基础
一篇新研究论文发布在arXiv上，探讨了机器学习模型中注意力机制的理论基础。该研究聚焦于一个简化的softmax注意力模型，使用随机梯度上升从信息性标记和干扰性标记中学习查询向量。研究人员推导了总体目标函数，并表征了学习动态，建立了随机算法与其确定性极限之间的联系。研究结果表明，在特定的高维缩放条件下，学习到的查询向量会收敛到信号子空间，有效恢复潜在信号，并为注意力在信号提取中的作用提供了理论依据。
-
新理论：SA-Adam 自适应性渐近不可见
研究人员发表了一篇论文，详细介绍了对自适应优化算法的理论分析，特别关注了带有动量和非收敛自适应预处理的 SA-Adam。该研究证明了在这种配置下存在一个非自治的 Polyak-Ruppert 中心极限定理，表明在迭代边际协方差方面，优化器的自适应性是渐近不可见的。这一发现表明，在某些条件下，特别是当动量增益亚线性衰减时，优化器的协方差结构会反映出普通随机梯度下降 (SGD) 的结构。