Nesterov momentum
PulseAugur coverage of Nesterov momentum — every cluster mentioning Nesterov momentum across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
模型合并技术在新的 IsoLoCo 方法中增强了分布式学习
研究人员探索了使用模型合并技术来改进分布式学习方法（如 DiLoCo）中的聚合。通过将本地 SGD/DiLoCo 中的伪梯度聚合与基于任务算术的模型合并进行类比，他们确定 Iso-C 是一种有前景的方法。他们提出了 IsoLoCo，该方法通过 Nesterov 动量对 Iso-C 进行调整以进行分布式训练，与标准的 DiLoCo 相比，性能有了显著提高，尤其是在工作节点数量增加的情况下。
-
研究论文分析动量方法的计算效率和运行时间权衡
一篇新研究论文探讨了重球法（HB）和加速SGD（ASGD）等随机动量方法的串行运行时间和计算效率之间的权衡。该研究证明了批量大小权衡的有限维下界，表明HB对于任意谱而言，在计算效率上并不比标准SGD有本质提升。相反，HB在更大的批量大小窗口内保持了SGD级别的效率，从而能够缩短串行运行时间。ASGD的性能取决于谱，对于快速衰减的谱，它提供了改进的小批量计算效率，但随着批量大小的增加，它会牺牲串行运行时间。
-
新的杆流模型跟踪Adam优化器在稳定性边缘
研究人员开发了一种新的“杆流”模型，以更好地理解像Adam这样的自适应梯度优化方法在稳定性边缘的运行方式。该模型将之前关于梯度下降的工作扩展到包括基于动量的方法，将优化迭代视为一维“杆”。新框架准确地跟踪了包括Adam和RMSProp在内的八种不同优化器在各种机器学习架构上的离散迭代。
-
用于可解释、公平和可观察医院再入院预测的集成框架：在 MIMIC-IV 上的开发与验证
研究人员开发了一种新的梯度正则化牛顿方案，以确保梯度提升决策树 (GBDT) 的全局收敛性，这是一种广泛用于表格机器学习的技术。该方法引入了一个自适应 L2 正则化项，实现了与 Nesterov 动量等一阶提升方法相当的收敛速度。数值实验表明，该新方案在标准牛顿提升可能发散的地方也能收敛。此外，另一项研究提出了一个用于从心电图中诊断射血分数的模态机器学习框架，实现了高精度并提供了可解释的特征。