Nccl
PulseAugur coverage of Nccl — every cluster mentioning Nccl across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
AWS SageMaker HyperPod 提升 AI 训练可观察性和恢复能力
AWS 增强了 Amazon SageMaker HyperPod 的功能,以改进大规模 AI 模型训练作业的可观察性和恢复能力。这些更新旨在缩短诊断和解决可能导致昂贵的 GPU 训练工作负载停滞的问题所需的时间和成本。增强功能包括标记表现不佳的 GPU 的诊断摘要、更早捕获故障的工作负载恢复机制以及超出基本节点健康状况的扩展基础设施检查。
-
HetCCL库可在混合NVIDIA和AMD GPU上实现高效LLM训练
一篇新论文介绍了一种名为HetCCL的集体通信库,旨在提高在拥有多厂商GPU的集群上训练大型语言模型的效率。当前的框架在跨厂商通信方面存在困难,导致性能瓶颈和成本增加。HetCCL通过统一厂商特定的后端并启用基于RDMA的通信(无需修改驱动程序)来解决这一问题,展示了与同构设置相当的性能,并实现了NVIDIA和AMD GPU的实际、高性能训练。
-
NVIDIA DGX Spark 通过 llama.cpp 和 NCCL 支持加速 LLM 生成
NVIDIA 的 DGX Spark 系统已得到增强,可加速大型语言模型 (LLM) 的生成。将 NCCL 支持集成到 llama.cpp 中,据报道在使用两台 DGX Spark 单元时,LLM 生成速度提高了 1.8 倍。此项进展旨在提高 LLM 开发和部署的效率。
-
AI训练优化器将NVIDIA GPU上的AllReduce延迟降低了36%
研究人员开发了一种新颖的多智能体系统,用于优化大规模分布式AI/ML训练的集体通信库(CCL)。该系统使用长短期记忆(LSTM)网络检测网络争用,并使用具有保守Q学习的双重深度Q网络(Dueling Double DQN)动态调整CCL配置。该优化器在NVIDIA的NCCL上实现,显著降低了延迟,在NVIDIA A100 GPU的Delta集群上运行的AI工作负载上实现了高达65%的加速。
-
PyTorch 2.15 通过新的 NCCL 后端增强 AI 训练稳定性
PyTorch 2.15 已发布,其特色是引入了一个新的 NCCL 后端,旨在增强 AI 训练过程的稳定性。此次更新旨在为处理大规模机器学习模型的开发者提供更强大的环境。
-
Hugging Face Transformers 库发布补丁版本 v5.22.2
Hugging Face Transformers 库已发布版本 5.22.2,这是一个针对安全和分布式计算问题的补丁更新。此版本包括修复了 NCCL 的 device_id 设置问题,并增强了 Jinja 模板引擎的安全性。
-
大语言模型研究探索 GPU 内核生成和分布式计算,并讨论了 CPU 并行化的经验教训
一个项目在其分布式计算框架中增加了对多节点张量并行化的支持,使用 NCCL 实现 CUDA 后端之间的通信。另外,一项研究工作对一个拥有 270 亿参数的模型 Qwen3.8-27B 进行了微调,以生成 Triton GPU 内核,与 PyTorch 相比,显著提高了其正确性和速度。这项工作还突显了开放权重模型与该专业领域的前沿商业产品之间仍然存在的差距。最后,关于 CPU 并行化经验教训的讨论表明,许多性能优化技术,例如管理依赖链和…
-
vLLM 基准测试显示其并发性和多链接性能优于 llama.cpp
作者对在家庭多 GPU 设置上运行大型语言模型的 vLLM 和 llama.cpp 进行了基准测试。vLLM 通过高效管理 KV 缓存和利用 NCCL 进行 GPU 通信,在处理高并发方面表现出卓越的性能,优于在处理多个并发请求时遇到困难的 llama.cpp。测试还表明,结合多个网络链接可以显著提高性能,尤其是在处理更长上下文时,并且混合专家(MoE)模型通常比密集模型提供更好的吞吐量和更高的上下文上限。
-
AWS 通过 EKS 上的新 Ray Train DLC 简化分布式 AI 训练
AWS 发布了用于 Ray Train 的新深度学习容器 (DLC),简化了在 Amazon Elastic Kubernetes Service (EKS) 上进行分布式 AI 模型训练的过程。这些预构建的容器集成了 PyTorch、NCCL 和 Elastic Fabric Adapter (EFA) 库等关键组件,无需用户构建和管理复杂的训练环境。这些 DLC 设计用于与 KubeRay(一个开源 Kubernetes 运算符)…
-
llama.cpp分支提升旧款NVIDIA GPU性能
一位开发者创建了一个llama.cpp项目的分支,以提升旧款NVIDIA GPU的性能,特别针对Kepler架构和Ampere之前的型号。该分支引入了对CUDA Graphs和Windows NCCL集成的支持,旨在延长旧硬件的使用寿命。在Tesla K40c GPU上的初步测试显示,生成速度有显著提升,通过Windows NCCL集成可达60 tps。
-
Gradium 开源 Phonon 设备端 TTS 模型
Gradium 发布了 Phonon,这是一个设备端文本转语音模型系列,提供 3100 万和 4000 万参数版本。仅限英语的 Phonon 31m 模型采用 Apache 2.0 许可,体积小巧,仅 64.5 MB,可以在包括 CPU、手机和浏览器在内的各种设备上本地生成语音,无需 GPU。Gradium 声称 Phonon 实现了具有竞争力的性能,其中 31m 模型在挑战性文本数据集上报告的词错误率为 1.70%,并在 CPU 上…
-
GPUStack 将 DGX Spark 节点上的 GLM 推理性能提升了 2.1 倍
在使用四个 NVIDIA DGX Spark 节点时,GPUStack 已证明 GLM-5.3-Flash-NVFP4 推理性能有了显著提升。通过广泛的网络调优和配置调整,包括优化 MTU、NIC QoS 和 NCCL 设置,该系统实现了 2.11 倍的单流解码吞吐量提升,从每秒 24.3 个 token 增加到 51.3 个 token。聚合输出吞吐量也有显著增加,从每秒 72.0 个 token 提升至 104.1 个 token。
-
Echo通信方法以4位精度加速LLM训练
研究人员开发了Echo,一种新颖的4位全归约(all-reduce)通信方法,旨在显著加速大型语言模型(LLM)的训练和推理。Echo通过高精度求和并将其误差反馈到后续调用中,解决了使用低精度数据固有的误差累积问题,确保累积误差保持有界。该方法提供了显著的性能提升,在A100 GPU上的测试显示,与标准的16位NCCL全归约相比,速度提升高达2.09倍,并且在网络拥塞情况下,首个token时间和训练步数方面也有显著改进。该方法在基准测…
-
新的 T-CCL 库利用 TMA 提升多 GPU AI 模型性能
研究人员开发了 T-CCL,这是一个专为大型 Transformer 模型中高效多 GPU 执行而设计的新型集体通信库。T-CCL 利用张量内存加速器 (TMA) 来卸载数据移动和归约操作,显著减少了 GPU 流式多处理器 (SM) 上所需的计算资源。这种减少使得通信和计算能够更好地并发执行,从而提高性能。评估显示,在资源受限的条件下,T-CCL 的性能比 NCCL 等现有库高出 3.42 倍,并提高了 vLLM 等系统中的端到端推理吞吐量。
-
为AI工程师解析Nvidia GPU术语
本文为AI工程师定义了必不可少的GPU术语,涵盖了从CUDA核心到NVLink的概念。文章解释了这些NVIDIA GPU概念如何影响模型拟合、执行速度和可扩展性。该文旨在使AI专业人士掌握相关知识,以了解和优化其机器学习工作负载的GPU性能。
-
Google 通过 NVIDIA 自动激活增强 GPU 集群,但落后于顶级提供商
据 SemiAnalysis 称,Google 在不到两年的时间里显著改善了其 GPU 集群体验,从“铜牌”级别提升至“金牌”级别。一项关键的增强功能是 NVIDIA ConnectX-7/8 NCCL 插件的自动激活,简化了 Google Cloud Platform (GCP) 用户设置和性能优化。尽管取得了这些进展,GCP 的 GPU 体验仍被认为不如 CoreWeave 和 Nebius 等顶级提供商那么完善,Google C…
-
新的ThunderEP设计提升消费级GPU上的MoE推理性能
研究人员开发了ThunderEP,这是一种新的通信设计,用于在通过PCIe连接的消费级GPU上高效运行大型专家混合(MoE)模型。该系统解决了这些设置中固有的通信瓶颈,数据传输通常涉及CPU。ThunderEP旨在绕过CPU中继跳跃并利用DMA引擎,避免与计算资源的争用,从而减少同步延迟。在配备RTX 4090和RTX 5090 GPU的系统上进行的评估表明,与NCCL等现有方法相比,速度显著提升,MoE推理的端到端改进高达1.66倍。
-
Modal推出支持RDMA的无服务器GPU集群
Modal宣布其新产品Modal Clusters普遍可用。该功能允许组织访问大规模计算资源,包括用于节点间高速通信的RDMA支持,而无需拥有底层硬件。该系统专为高效的多节点调度而设计,并提供无服务器定价,按GPU使用时长计费。
-
NVIDIA NVRx 增强 Amazon EKS 上的分布式 AI 训练容错能力
NVIDIA 推出了 NVRx,这是一个 Python 库,旨在增强 Amazon EKS 上大规模分布式 AI 训练的容错能力。NVRx 与 PyTorch 的 Fully Sharded Data Parallel (FSDP) 集成,支持异步检查点,将 I/O 操作与训练重叠,从而显著减少空闲时间。它还提供进程内重启功能,可在几秒钟内从故障中恢复,而无需重启容器,并提供作业内重启机制来处理严重崩溃。
-
llama.cpp 在最新发布中添加了 Ubuntu-CUDA 构建和 GCC 14 支持
llama.cpp 项目发布了 b10969 版本,其中包括针对 Ubuntu-CUDA 的新构建作业,支持 x64 和 arm64 架构上的 CUDA 12.8 和 13.3 版本。此更新还在持续集成过程中为 CUDA arm64 构建集成了 GCC 14,并确保在 Ubuntu 上提供依赖库。发布说明提到了管理 NCCL 许可并将其集成到构建管道中的工作。