Tensor Parallelism
PulseAugur coverage of Tensor Parallelism — every cluster mentioning Tensor Parallelism across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
SwiftQK 通过高效的张量并行优化大型语言模型训练
研究人员开发了 SwiftQK，一种用于优化大型语言模型（使用张量并行训练）中查询-键归一化（QK-Norm）的新方法。该技术通过仅交换标量归一化统计数据并使计算与数据归约重叠，显著降低了与 QK-Norm 相关的通信开销。与现有方法相比，SwiftQK 在延迟和端到端服务性能方面均取得了实质性改进。
-
PyTorch DDP 解析：多 GPU 训练的梯度同步
本文深入探讨了 PyTorch 的 DistributedDataParallel (DDP) 用于多 GPU 训练。文章解释了由于模型和数据集规模不断增长而需要 DDP 的原因，并将其与模型并行进行了对比。DDP 的核心被揭示为使用 AllReduce 操作进行梯度同步，该操作在所有 GPU 更新其本地模型副本之前对所有 GPU 的梯度进行平均。这确保了尽管处理的数据批次不同，但所有模型副本保持相同。
-
新的CTA-pipelining方法大幅降低LLM的多GPU延迟
研究人员推出了一种新颖的多GPU系统执行范式CTA-pipelining，该范式针对服务大型语言模型的延迟进行了优化。该方法利用了协同线程阵列（Cooperative Thread Array）层面的依赖关系，从而实现跨GPU的并发内核执行。在H200和B200系统上的实验表明，CTA-pipelining可以将特定操作的延迟降低高达31.8%，并且可以与张量并行（Tensor Parallelism）结合以获得进一步的性能提升。
-
STAGE框架为分布式工作负载合成大语言模型执行图 · 跟踪2个来源
一个名为STAGE的新框架已被开发出来，用于合成大语言模型（LLMs）和专家混合模型（MoEs）的高保真执行图。该框架旨在通过建模各种并行化策略来优化分布式人工智能工作负载，从而能够在无需直接访问大规模基础设施的情况下探索不同的模型架构和系统配置。STAGE通过为超过128,000个GPU生成跟踪记录，证明了其可扩展性，并在计算、内存和通信方面保持了张量级别的准确性。
-
用户在 PCIe 担忧下寻求关于 LLM 双 GPU 显存升级的建议
Reddit r/LocalLLaMA 版块的一名用户正在寻求关于在其系统中添加第二块 AMD 7900XTX GPU 以增加本地大型语言模型 (LLM) 推理的显存的建议。主要担忧是主板的 PCIe 通道配置可能造成的潜在性能瓶颈，特别是次要 GPU 的 PCIe 2.0 插槽，而 CPU 支持 PCIe 4.0。用户正在权衡升级主板至兼容 PCIe 4.0 型号的成本和收益，并询问这些 GPU 的张量并行（tensor paral…
-
AI验证通过新的并行技术进行扩展
研究人员已将通常用于训练大型模型的张量并行和全分片数据并行技术应用于改进神经网络验证的可扩展性。这些方法解决了以前限制形式验证算法的GPU内存限制。研究表明，内存显著减少，其中FSDP在保持与单GPU系统位相同的界限的同时，基线内存下降高达90%。
-
Zyphra的TSP策略将LLM训练吞吐量提升2.6倍
Zyphra开发了一种名为张量与序列并行（TSP）的新技术，旨在优化大型Transformer模型的训练与推理。这种硬件感知的策略结合了张量并行和序列并行的方面，能够更有效地在GPU之间分配模型权重和输入序列。基准测试表明，TSP的吞吐量最高可达现有方法的2.6倍，同时还能减少每GPU的内存使用量。
-
新的 TSP 策略折叠张量和序列并行以实现内存高效训练
研究人员引入了一种名为张量和序列并行 (TSP) 的新并行执行策略，旨在提高 Transformer 模型训练和推理过程中的内存效率。TSP 将分片模型权重的张量并行与分片 token 的序列并行结合到单个设备轴上。这种方法减少了参数和激活内存，为在内存受限的环境中或具有长上下文的场景下训练大型模型提供了一种硬件感知的替代方案。