Yuriy Nesterov
PulseAugur coverage of Yuriy Nesterov — every cluster mentioning Yuriy Nesterov across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
Muon 算法获得新的收敛保证和变体
研究人员为 Muon 算法（一种用于机器学习的方法）建立了新的理论收敛保证。通过采用更精确的 Newton-Schultz 迭代代理，他们证明了在特定的超参数选择下，Muon 的迭代可以收敛到零梯度。该研究还引入了“Muesterov”，这是 Muon 的一种基于 Nesterov 的变体，它扩展了理论框架并提供了类似的收敛特性。在交叉熵问题上的数值实验以及与 nanoGPT 数据集进行的初步模拟支持了理论发现，并表明了实际应用的可能性。
-
新的分布式算法加速单调包含求解
研究人员开发了两种新颖的分布式算法，ND-DFFP和NI-DFFP，旨在高效地解决网络上的复杂单调包含问题。这些算法集成了Nesterov型加速与原对偶技术，与现有方法相比提供了更快的收敛速度。在分布式双线性矩阵博弈和虚拟电厂等问题上的数值实验表明，这些新算法具有竞争力且计算效率高。
-
新型加速算法提高了广义方程的收敛性
研究人员开发了一个新的算法框架，该框架结合了Nesterov加速和方差缩减技术来解决一类广义方程。该方法专为涉及非单调算子的数据驱动应用而设计，与非加速方法相比，收敛速度得到了提高。该框架支持各种随机方差缩减方案，并在数值示例中表现出有希望的性能。
-
优化研究新进展：探索梯度下降动力学
两篇新的arXiv论文深入探讨了梯度下降算法的复杂性。第一篇论文由Si Yi Meng撰写，研究了具有不可分数据和大步长的逻辑回归上的梯度下降动力学，揭示了虽然局部收敛通常有保证，但全局收敛到稳定周期可能取决于初始化。第二篇论文侧重于光滑凸优化，为超越Nesterov经典结果的梯度下降加速建立了改进的下界，证明了非即时收敛和即时收敛速率之间存在严格分离。
-
新研究详细介绍了动量在大批量 AI 训练中的作用
一篇新研究论文探讨了动量如何影响机器学习中的大批量训练，以幂律核回归作为模型。该研究定义了一个临界学习率来表征风险稳定性，并推导了训练动力学的标度律。研究表明，Polyak 的方法扩大了临界批量大小，允许在不损失数据效率的情况下实现更大的并行性，而 Nesterov 的方法通过减少噪声累积提高了在大批量场景下的数据效率。
-
联邦学习研究通过新算法和放置策略应对拜占庭攻击
研究人员正在探索提高联邦学习的安全性和效率，特别是针对拜占庭攻击，在这种攻击中，恶意参与者会破坏训练过程。一项研究引入了一种 Nesterov 加速联邦学习算法 (Byrd-NAFL)，该算法将动量与鲁棒聚合规则相结合，以确保快速安全的收敛，并在数值实验中展示了卓越的性能。另一篇论文侧重于优化去中心化联邦学习系统中拜占庭节点的放置，提出了一种拜占庭放置影响 (BPI) 指标来量化受损节点对诚实参与者的影响，并开发了识别破坏性配置的算法。
-
新的离散状态采样算法利用Nesterov加速
研究人员开发了一类新的离散状态采样算法，该算法建立在Nesterov加速梯度法的基础上。该方法通过将传统Metropolis-Hastings算法的概率分布演化解释为KL散度上的梯度下降，从而对其进行了扩展。所提出的方法利用离散Wasserstein-2度量和迁移函数，通过阻尼哈密顿流实现基于动量的加速。还引入了一个粒子相互作用系统来近似这些加速采样动力学，并通过数值示例证明了其在估计离散得分函数方面的有效性。
-
为概率测度开发了新的 Nesterov 加速方法
研究人员开发了新的概率测度加速优化方法，其灵感来源于欧几里得空间中的 Nesterov 加速梯度法。这些方法，包括重球法和 Nesterov 加速法，专为机器学习、科学计算和不确定性量化等应用而设计。该方法通过哈密顿公式将概率测度提升到相空间，并提升到希尔伯特空间，从而实现了与欧几里得方法相媲美的收敛保证。
-
新的OptMuon方法通过自适应动量增强随机优化
研究人员推出了一种新颖的自适应动量正交化方法OptMuon，用于随机非凸优化，该方法通过观察到的轨迹校准更新幅度。该方法将Muon风格的方向与依赖于轨迹的系数计划相结合，避免了对平滑度常数或方差水平的依赖。OptMuon为噪声自适应性和零噪声最优性提供了理论保证，在无需手动调整超参数的情况下，可降低到接近最优的确定性速率。
-
研究人员开发了具有加速草图的在线牛顿法以实现高效推断
一篇新论文介绍了一种在线牛顿法，该方法使用 Nesterov 加速草图来近似牛顿方向。该方法旨在为流式数据提供稳健的不确定性量化，同时保持与一阶方法相当的计算效率。该方法量化了来自数据和计算的不确定性，建立了收敛保证并开发了在线协方差估计器。实验表明其在回归模型的在线推断方面具有优越性。