Nccl
PulseAugur coverage of Nccl — every cluster mentioning Nccl across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的CTA-pipelining方法大幅降低LLM的多GPU延迟
研究人员推出了一种新颖的多GPU系统执行范式CTA-pipelining，该范式针对服务大型语言模型的延迟进行了优化。该方法利用了协同线程阵列（Cooperative Thread Array）层面的依赖关系，从而实现跨GPU的并发内核执行。在H200和B200系统上的实验表明，CTA-pipelining可以将特定操作的延迟降低高达31.8%，并且可以与张量并行（Tensor Parallelism）结合以获得进一步的性能提升。
-
新的HSAP框架提升了混合上下文模型LLM的训练效率
研究人员推出了一种名为HSAP（Hierarchical Sequence-aware Parallelism）的框架，旨在提高大型语言模型训练的效率。这种新方法解决了处理混合上下文序列和因果注意力计算中的挑战，这些在预训练和微调中常用的打包序列中很常见。HSAP通过优化跨多个设备组的张量传输和注意力计算，并利用JIT编译进行通信策略，来克服现有序列并行方法的局限性。
-
Together AI 发布用于 LLM 推理的开源并行内核构建器
Together AI 发布了并行内核构建器 (PKB)，这是一个旨在优化大型语言模型推理性能的开源工具。PKB 可以识别并生成新颖的内核，例如用于 NeMo 词汇并行 log-probs 和 Hyena 上下文并行的内核，这些内核并未公开文档化。该工具已展示出显著的加速效果，其中一个内核的性能从标准的 320.6µs 提升至 87.9µs，并且该项目鼓励社区贡献。
-
研究人员发现大型语言模型在生成多GPU内核方面存在困难
Together的研究人员发现，虽然大型语言模型能够高效地生成单GPU内核，但在多GPU内核生成方面却面临巨大挑战。当被要求创建针对多个GPU优化的内核时，这些模型表现不佳，经常无法编译或产生错误结果。这一限制源于单GPU（计算/内存带宽）和多GPU（互连）操作之间的瓶颈差异，而当前的大型语言模型无法有效处理这些差异。
-
前沿大语言模型在多GPU内核生成方面遇到困难，新基准测试揭示
一项名为ParallelKernelBench (PKB) 的新基准测试已被开发出来，用于评估前沿大语言模型生成高效多GPU内核的能力。对GPT-5.5、Gemini 3 Pro和Opus 4.7等模型的测试显示出显著的性能差距，只有不到三分之一的问题得到正确解决，而其中只有不到四分之一的性能优于简单的基线。该基准测试侧重于用NVLink上的直接CUDA内核替换PyTorch + NCCL，解决了经常成为AI推理瓶颈的关键通信开销。
-
用户寻求关于 llama.cpp 中双 GPU 非对称推理的优化建议
一位用户在 r/LocalLLaMA 子版块上寻求关于优化非对称双 GPU 配置性能的建议。他们拥有一块 12GB 显存的 3080 Ti 和一块 20GB 显存的 3080，当整个模型和缓存无法完全放入显存时，他们遇到了显著的速度下降。该用户正在尝试使用 llama.cpp 以及各种量化和缓存策略来最大化推理速度。
-
新的OptCC算法最大限度地减少了网络故障对AllReduce的拖慢
研究人员开发了OptCC，这是一种旨在提高大规模GPU集群中AllReduce操作效率的新算法，尤其是在发生网络故障时。该算法接近完成时间的理论下限，显著减少了现有容错方法通常会看到的性能下降。实验表明，即使由于网络问题导致带宽大幅损失，OptCC仍能保持接近最优的性能，优于当前最先进的方法。
-
开发者详述 verl RL 框架内部原理及 NCCL bug
一位开发者详细介绍了他在使用 ByteDance 的 verl 框架进行 RL 后训练的经历，包括其内部工作原理以及 fork 该项目的挑战。这篇博文涵盖了框架的编排层、资源管理以及维护 fork 所需的工程开销。它还重点介绍了一个与网络接口选择相关的特定 NCCL bug，该 bug 导致多 GPU 测试挂起。
-
新框架HetCCL提升混合硬件集群上的LLM训练效率
研究人员开发了HetCCL，一个旨在提高用于训练大型语言模型的异构计算集群中集体通信效率的新框架。该框架通过实现不同供应商硬件之间高效的点对点传输，减少了开销并消除了主机-设备内存复制成本，从而解决了现有系统的局限性。HetCCL创新的边界通信器机制和分层拓扑抽象允许进行供应商无关的归约操作和优化的数据传输，从而带来显著的带宽提升和更快的端到端训练时间。
-
万亿参数AI模型给Kubernetes编排带来挑战
在Kubernetes集群中运行万亿参数的AI模型，其挑战远超标准的容器编排。这些庞大的模型需要分布式系统方法，其中单个“副本”可能包含多个GPU甚至整个节点，而不是适合单个Pod。核心问题在于管理模型权重所需的巨大内存，即使采用16位精度，也可能达到TB级别，这需要仔细考虑并行策略和量化技术。
-
PyTorch 教程简化分布式人工智能模型推理
本文使用 PyTorch 解释了大型人工智能模型的分布式推理技术。它详细介绍了如何用最少的代码实现数据并行 (DP)、张量并行 (TP) 和流水线并行 (PP)。演示使用了一个小型模型和两个 GPU 来说明这些概念，旨在揭开 Megatron-LM 和 DeepSpeed 等复杂框架的神秘面纱。
-
eBPF GPU 代理赋能 LLM 驱动的集群性能排查
开发了一个新的 eBPF GPU 代理，用于精确定位大规模 AI 训练集群中的性能瓶颈。该代理超越了主机级诊断，提供了集群范围的洞察，识别出拖慢整个操作的特定 rank。通过检测 NCCL 库并收集详细的性能数据，该代理能够让 LLM 驱动排查并快速诊断问题，显著提高分布式训练的效率。