一篇新研究论文探讨了动量如何影响机器学习中的大批量训练，以幂律核回归作为模型。该研究定义了一个临界学习率来表征风险稳定性，并推导了训练动力学的标度律。研究表明，Polyak 的方法扩大了临界批量大小，允许在不损失数据效率的情况下实现更大的并行性，而 Nesterov 的方法通过减少噪声累积提高了在大批量场景下的数据效率。 AI
影响 这项研究为优化大批量训练提供了理论见解，有望带来更高效的模型开发。
排序理由 该集群包含一篇学术研究论文，详细介绍了机器学习训练方法的新发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
We study when and how momentum improves large-batch training in the one-pass regime, using power-law kernel regression as a tractable setting. We first characterize risk stability through the critical learning rate, defined as the largest learning rate for stable training, and ob…
arXiv:2609.02728v1 Announce Type: new Abstract: We study when and how momentum improves large-batch training in the one-pass regime, using power-law kernel regression as a tractable setting. We first characterize risk stability through the critical learning rate, defined as the l…