English(EN) Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs

混合精度 CA-SGD 加速 GPU 训练

作者 PulseAugur 编辑部 · [2 个来源] · 2026-06-16 20:14

研究人员开发了一种用于 GPU 上的广义线性模型的混合精度通信规避 SGD (CA-SGD) 方法。该方法旨在通过将通信分摊到多个迭代中来减少分布式训练中的通信瓶颈。该方法利用现代 GPU 的矩阵硬件和较低精度格式来加速计算并缩小数据传输，与标准的 FP32 SGD 相比实现了显著的加速。 AI

影响通过减少通信开销，该方法有望缩短大规模机器学习模型的训练时间。

排序理由该集群包含一篇学术论文，详细介绍了一种用于优化 GPU 上机器学习训练的新方法。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.LG TIER_1 English(EN) · Aditya Devarakonda, Irene Sim\'o Mu\~noz, Giulia Guidi · 2026-06-18 04:00

用于 GPU 上广义线性模型的混合精度通信规避 SGD

arXiv:2606.18463v1 Announce Type: cross Abstract: Distributed stochastic gradient descent (SGD) is limited by communication rather than computation, since each iteration requires an AllReduce across processes. Communication-avoiding SGD (CA-SGD) amortizes communication over $s$ i…
arXiv stat.ML TIER_1 English(EN) · Giulia Guidi · 2026-06-16 20:14

用于 GPU 上广义线性模型的混合精度通信规避 SGD

Distributed stochastic gradient descent (SGD) is limited by communication rather than computation, since each iteration requires an AllReduce across processes. Communication-avoiding SGD (CA-SGD) amortizes communication over $s$ iterations by replacing $s$ consecutive AllReduces …