Polyak--Ruppert
PulseAugur coverage of Polyak--Ruppert — every cluster mentioning Polyak--Ruppert across labs, papers, and developer communities, ranked by signal.
-
新的arXiv论文探讨具有隐私和应用的高级分位数回归
arXiv上的两篇新研究论文介绍了先进的分位数回归技术。第一篇论文详细介绍了成对分位数回归，建立了理论保证，并展示了其在面部识别误差分析中的应用。第二篇论文提出了一种本地私有的在线分位数回归方法，能够在严格的隐私协议下进行估计和推断，模拟显示了其有效性，并以纽约市出租车行程为例进行了说明。
-
新的 TD(0) 算法通过单一步长实现鲁棒且快速的收敛
研究人员开发了一种新的线性 TD(0) 算法方法，该方法使用单一的步长调度，无需预先了解曲率参数。这种方法为算法的稳定性和收敛性提供了高概率保证。新的步长调度同时实现了鲁棒的、无曲率的速率和快速的、依赖曲率的速率，为马尔可夫环境中的学习提供了更有效、更稳定的解决方案。
-
新理论：SA-Adam 自适应性渐近不可见
研究人员发表了一篇论文，详细介绍了对自适应优化算法的理论分析，特别关注了带有动量和非收敛自适应预处理的 SA-Adam。该研究证明了在这种配置下存在一个非自治的 Polyak-Ruppert 中心极限定理，表明在迭代边际协方差方面，优化器的自适应性是渐近不可见的。这一发现表明，在某些条件下，特别是当动量增益亚线性衰减时，优化器的协方差结构会反映出普通随机梯度下降 (SGD) 的结构。
-
新的Q学习方法实现了n^{-1/4}的高斯逼近界
研究人员开发了一种用于函数逼近的熵正则化Q学习中高斯分布逼近的新方法。该研究为异步Q学习生成的平均迭代建立了收敛速率，实现了n^{-1/4}阶的高斯逼近界。这项工作将软贝尔曼递归的线性化与主要鞅项的高斯逼近相结合，还推导了算法最终迭代的高阶矩界。
-
研究人员开发了用于SGD置信集的_novel_bootstrap方法
研究人员开发了一种用于构建随机梯度下降（SGD）算法中置信集的新颖方法。这种新方法利用了乘数自举程序并建立了其_non-asymptotic_有效性。该方法实现了$1/\sqrt{n}$阶的近似率，这可能比现有的中心极限定理方法更快，并提供了SGD中自举准确性的第一个完全_non-asymptotic_界限。
-
新研究确定了在线推理中动态预处理的稳定阈值
研究人员确定了梯度下降方法中动态预处理的关键稳定阈值。该阈值决定了在线推理基础的 Polyak-Ruppert 平均技术何时能保持其渐近正态性。该研究提出了一种预处理矩阵分离分解来分析误差动态，并确定预处理矩阵稳定的速率必须超过与步长指数相关的特定阈值。