实体
stochastic approximation
stochastic approximation
PulseAugur coverage of stochastic approximation — every cluster mentioning stochastic approximation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论解释AI注意力机制如何提取信号
研究人员开发了一个理论框架，以理解AI模型中的注意力机制如何识别相关信息。通过研究一个简化的softmax注意力模型，他们推导出了一个收敛到信号子空间的学习动态，从而有效地恢复了潜在的信息方向。这项工作为注意力机制从噪声数据中提取信号的能力提供了严格的数学基础。
-
新理论：SA-Adam 自适应性渐近不可见
研究人员发表了一篇论文，详细介绍了对自适应优化算法的理论分析，特别关注了带有动量和非收敛自适应预处理的 SA-Adam。该研究证明了在这种配置下存在一个非自治的 Polyak-Ruppert 中心极限定理，表明在迭代边际协方差方面，优化器的自适应性是渐近不可见的。这一发现表明，在某些条件下，特别是当动量增益亚线性衰减时，优化器的协方差结构会反映出普通随机梯度下降 (SGD) 的结构。