English(EN) From One-Pass SGD to Data Reuse: Mini-Batch Scaling Laws in Sketched Linear Regression

新的缩放定律详细说明了小批量对线性回归的影响

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-26 04:00

研究人员为草图线性回归开发了新的缩放定律，专门解决小批量处理的影响。他们的分析涵盖了单次批量SGD、带替换的多批次批量SGD以及不带替换的多批次批量SGD。研究结果揭示了小批量如何影响偏差和方差项，提供了一个理论框架，将批量大小与回归分析中的计算、数据和模型维度并列。 AI

影响为理解线性回归中的小批量处理提供了理论框架，可能为未来的算法设计提供参考。

排序理由阐述机器学习算法理论进展的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Ziyan Chen, Ding-Xuan Zhou · 2026-05-26 04:00

From One-Pass SGD to Data Reuse: Mini-Batch Scaling Laws in Sketched Linear Regression

arXiv:2605.24316v1 Announce Type: new Abstract: Scaling laws provide compact descriptions of how prediction error varies with compute, model size, and data, but existing theory mainly treats single-sample SGD or full data reuse, leaving the role of mini-batching unclear. We study…