English(EN) Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads

新方法重叠机器学习计算与通信以加速多GPU训练

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-09 04:00

研究人员开发了一种通过重叠计算和通信阶段来提高多GPU机器学习训练效率的方法。该技术使用共享内存分配来管理计算内核驻留，确保片上资源充足以供通信内核使用。通过为通信流分配更高的优先级，该方法在不更改供应商库的情况下，在各种NVIDIA和AMD GPU上有效地将总执行时间减少了多达25.5%。 AI

影响提高了分布式机器学习训练的效率，可能降低成本并加速研究周期。

排序理由学术论文，详细介绍了一种优化机器学习工作负载的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Minyu Cui, Miquel Pericas · 2026-06-09 04:00

面向多GPU机器学习工作负载的资源感知计算通信重叠

arXiv:2606.09200v1 Announce Type: cross Abstract: The rapid growth of large-scale machine learning (ML) has made distributed training across multiple GPUs a fundamental component of modern ML systems. As model sizes and computational throughput continue to increase, communication…