研究人员开发了 Obaleth,这是一种新颖的编译器,旨在优化机器学习工作负载的 GPU 启动网络。该编译器将通信集成到内核的中间表示中,从而可以与计算进行协同优化并生成专用传输代码。Obaleth 已展示出显著的性能改进,包括在 H100 GPU 上小消息速度提升 3.3 倍,以及在更大的 GPU 集群上比现有的 NVSHMEM 和 NCCL GIN 等库具有更快的 all-to-all 通信速度。当集成到 vLLM 中时,Obaleth 还加速了服务 Qwen3-235B 模型的响应时间。 AI
影响 优化通信基础设施,可能加速大规模 AI 模型训练和推理。
排序理由 该集群描述了一种新编译器及其在 GPU 启动网络方面的性能改进,详细介绍在一篇 arXiv 论文中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →