stochastic approximation
PulseAugur coverage of stochastic approximation — every cluster mentioning stochastic approximation across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的统一方法为收缩随机逼近提供了界限
研究人员开发了一种新颖的统一方法，用于建立随机逼近（SA）算法的均方界限和集中界限。该方法处理任意范数下的收缩映射和乘性噪声模型，这些在强化学习中很常见。新技术避免了复杂的平滑或包络构造，而是使用平均噪声序列和辅助迭代来推导直接的李雅普诺夫漂移不等式。这使得SA在乘性噪声下首次获得亚高斯尾部最大集中界限，步长可以对置信度进行对数依赖。
-
新研究论文为注意力机制提供理论基础
一篇新研究论文发布在arXiv上，探讨了机器学习模型中注意力机制的理论基础。该研究聚焦于一个简化的softmax注意力模型，使用随机梯度上升从信息性标记和干扰性标记中学习查询向量。研究人员推导了总体目标函数，并表征了学习动态，建立了随机算法与其确定性极限之间的联系。研究结果表明，在特定的高维缩放条件下，学习到的查询向量会收敛到信号子空间，有效恢复潜在信号，并为注意力在信号提取中的作用提供了理论依据。
-
新理论：SA-Adam 自适应性渐近不可见
研究人员发表了一篇论文，详细介绍了对自适应优化算法的理论分析，特别关注了带有动量和非收敛自适应预处理的 SA-Adam。该研究证明了在这种配置下存在一个非自治的 Polyak-Ruppert 中心极限定理，表明在迭代边际协方差方面，优化器的自适应性是渐近不可见的。这一发现表明，在某些条件下，特别是当动量增益亚线性衰减时，优化器的协方差结构会反映出普通随机梯度下降 (SGD) 的结构。