Yuriy Nesterov
PulseAugur coverage of Yuriy Nesterov — every cluster mentioning Yuriy Nesterov across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
高阶凸优化的新理论界限已确立
研究人员在函数同时具有高阶Hölder光滑性和一致凸性且这些性质匹配的情况下，确立了优化的紧下界。该研究引用了Yuriy Nesterov的工作，为理解此类优化问题的复杂性提供了新的理论框架。这项工作解决了不对称情况下的下界悬而未决的问题，并为现有一阶界限提供了高阶一致凸的对应。
-
新论文发现 Nesterov 轨迹仅在 p=4 时最终局部最小化
一项新的研究论文探讨了 Nesterov 优化方法产生最终局部最小化轨迹的条件。该研究将此属性与特定薛定谔算子的非负性联系起来。对于幂次目标，研究表明 Nesterov 轨迹仅在指数恰好为 4 时才最终局部最小化，并将这一发现与半线性椭圆方程的稳定性联系起来。
-
受哈密顿动力学启发的新的注意力机制在arXiv论文中详细介绍
研究人员开发了SympFormer，这是一种受概率测度空间上阻尼哈密顿动力学启发的、新颖的注意力块。该方法通过将大型语言模型中的注意力机制解释为粒子系统，其均值场极限为梯度流，从而扩展了对注意力机制的理解。这项工作引入了用于Wasserstein和Stein空间的新的几何概念和微积分，为标准和惯性注意力公式提供了严格的基础。在TinyStories和OpenWebText上的实验表明，对token和动量更新的几何校正可以提高下一个to…
-
AF-Muon 优化器取代 AdamW 用于绑定嵌入模型，节省内存
研究人员开发了 AF-Muon，一种无需在绑定嵌入模型中使用 AdamW 的优化器，可能节省约 20% 的优化器状态内存。这种新方法在隐藏权重矩阵上保持了 Muon 的谱范数最陡下降更新，同时为绑定词汇表采用了支持感知线性最小化。AF-Muon 在包括语言模型、图像模型和蛋白质序列在内的各种模型架构和数据模态中，以最小的开销展示了平均验证损失和困惑度的稳健改进。
-
新论文详述几何矩收缩用于随机 Nesterov 加速
一篇新发表在 arXiv 上的论文详述了一种名为几何矩收缩 (GMC) 的方法，用于改进随机 Nesterov 加速。该研究引入了一个直接的标准，用于在均值强单调性和随机 L^p Lipschitz 连续性下的同步 L^p 收缩，该标准可适应无限方差梯度。此外，一个幂-Lyapunov 参数论证仅使用有限的 p 次梯度矩就建立了一个更宽的步长区间。
-
新的分布式算法加速单调包含求解
研究人员开发了两种新颖的分布式算法，ND-DFFP和NI-DFFP，旨在高效地解决网络上的复杂单调包含问题。这些算法集成了Nesterov型加速与原对偶技术，与现有方法相比提供了更快的收敛速度。在分布式双线性矩阵博弈和虚拟电厂等问题上的数值实验表明，这些新算法具有竞争力且计算效率高。
-
新型加速算法提高了广义方程的收敛性
研究人员开发了一个新的算法框架，该框架结合了Nesterov加速和方差缩减技术来解决一类广义方程。该方法专为涉及非单调算子的数据驱动应用而设计，与非加速方法相比，收敛速度得到了提高。该框架支持各种随机方差缩减方案，并在数值示例中表现出有希望的性能。
-
优化研究新进展：探索梯度下降动力学
两篇新的arXiv论文深入探讨了梯度下降算法的复杂性。第一篇论文由Si Yi Meng撰写，研究了具有不可分数据和大步长的逻辑回归上的梯度下降动力学，揭示了虽然局部收敛通常有保证，但全局收敛到稳定周期可能取决于初始化。第二篇论文侧重于光滑凸优化，为超越Nesterov经典结果的梯度下降加速建立了改进的下界，证明了非即时收敛和即时收敛速率之间存在严格分离。
-
新研究详细介绍了动量在大批量 AI 训练中的作用
一篇新研究论文探讨了动量如何影响机器学习中的大批量训练，以幂律核回归作为模型。该研究定义了一个临界学习率来表征风险稳定性，并推导了训练动力学的标度律。研究表明，Polyak 的方法扩大了临界批量大小，允许在不损失数据效率的情况下实现更大的并行性，而 Nesterov 的方法通过减少噪声累积提高了在大批量场景下的数据效率。
-
联邦学习研究通过新算法和放置策略应对拜占庭攻击
研究人员正在探索提高联邦学习的安全性和效率，特别是针对拜占庭攻击，在这种攻击中，恶意参与者会破坏训练过程。一项研究引入了一种 Nesterov 加速联邦学习算法 (Byrd-NAFL)，该算法将动量与鲁棒聚合规则相结合，以确保快速安全的收敛，并在数值实验中展示了卓越的性能。另一篇论文侧重于优化去中心化联邦学习系统中拜占庭节点的放置，提出了一种拜占庭放置影响 (BPI) 指标来量化受损节点对诚实参与者的影响，并开发了识别破坏性配置的算法。
-
新的离散状态采样算法利用Nesterov加速
研究人员开发了一类新的离散状态采样算法，该算法建立在Nesterov加速梯度法的基础上。该方法通过将传统Metropolis-Hastings算法的概率分布演化解释为KL散度上的梯度下降，从而对其进行了扩展。所提出的方法利用离散Wasserstein-2度量和迁移函数，通过阻尼哈密顿流实现基于动量的加速。还引入了一个粒子相互作用系统来近似这些加速采样动力学，并通过数值示例证明了其在估计离散得分函数方面的有效性。
-
为概率测度开发了新的 Nesterov 加速方法
研究人员开发了新的概率测度加速优化方法，其灵感来源于欧几里得空间中的 Nesterov 加速梯度法。这些方法，包括重球法和 Nesterov 加速法，专为机器学习、科学计算和不确定性量化等应用而设计。该方法通过哈密顿公式将概率测度提升到相空间，并提升到希尔伯特空间，从而实现了与欧几里得方法相媲美的收敛保证。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。
-
研究人员开发了具有加速草图的在线牛顿法以实现高效推断
一篇新论文介绍了一种在线牛顿法，该方法使用 Nesterov 加速草图来近似牛顿方向。该方法旨在为流式数据提供稳健的不确定性量化，同时保持与一阶方法相当的计算效率。该方法量化了来自数据和计算的不确定性，建立了收敛保证并开发了在线协方差估计器。实验表明其在回归模型的在线推断方面具有优越性。