一篇新研究论文探讨了重球法（HB）和加速SGD（ASGD）等随机动量方法的串行运行时间和计算效率之间的权衡。该研究证明了批量大小权衡的有限维下界，表明HB对于任意谱而言，在计算效率上并不比标准SGD有本质提升。相反，HB在更大的批量大小窗口内保持了SGD级别的效率，从而能够缩短串行运行时间。ASGD的性能取决于谱，对于快速衰减的谱，它提供了改进的小批量计算效率，但随着批量大小的增加，它会牺牲串行运行时间。 AI
影响 这项研究为优化大规模机器学习模型的训练效率提供了理论见解。
排序理由 该集群包含详细介绍随机动量方法研究成果的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.19179v1 Announce Type: cross Abstract: Stochastic momentum methods such as heavy ball (HB), Nesterov momentum, and variants of Accelerated SGD (ASGD) [Kidambi et al., 2018] are widely used in modern training, but their stochastic benefits depend on two distinct quantit…
Stochastic momentum methods such as heavy ball (HB), Nesterov momentum, and variants of Accelerated SGD (ASGD) [Kidambi et al., 2018] are widely used in modern training, but their stochastic benefits depend on two distinct quantities: serial runtime, the number of iterations need…