Tensor Parallelism
PulseAugur coverage of Tensor Parallelism — every cluster mentioning Tensor Parallelism across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
STAGE框架为分布式工作负载合成大语言模型执行图 · 跟踪2个来源
一个名为STAGE的新框架已被开发出来，用于合成大语言模型（LLMs）和专家混合模型（MoEs）的高保真执行图。该框架旨在通过建模各种并行化策略来优化分布式人工智能工作负载，从而能够在无需直接访问大规模基础设施的情况下探索不同的模型架构和系统配置。STAGE通过为超过128,000个GPU生成跟踪记录，证明了其可扩展性，并在计算、内存和通信方面保持了张量级别的准确性。
-
用户在 PCIe 担忧下寻求关于 LLM 双 GPU 显存升级的建议
Reddit r/LocalLLaMA 版块的一名用户正在寻求关于在其系统中添加第二块 AMD 7900XTX GPU 以增加本地大型语言模型 (LLM) 推理的显存的建议。主要担忧是主板的 PCIe 通道配置可能造成的潜在性能瓶颈，特别是次要 GPU 的 PCIe 2.0 插槽，而 CPU 支持 PCIe 4.0。用户正在权衡升级主板至兼容 PCIe 4.0 型号的成本和收益，并询问这些 GPU 的张量并行（tensor paral…
-
AI验证通过新的并行技术进行扩展
研究人员已将通常用于训练大型模型的张量并行和全分片数据并行技术应用于改进神经网络验证的可扩展性。这些方法解决了以前限制形式验证算法的GPU内存限制。研究表明，内存显著减少，其中FSDP在保持与单GPU系统位相同的界限的同时，基线内存下降高达90%。
-
Zyphra的TSP策略将LLM训练吞吐量提升2.6倍
Zyphra开发了一种名为张量与序列并行（TSP）的新技术，旨在优化大型Transformer模型的训练与推理。这种硬件感知的策略结合了张量并行和序列并行的方面，能够更有效地在GPU之间分配模型权重和输入序列。基准测试表明，TSP的吞吐量最高可达现有方法的2.6倍，同时还能减少每GPU的内存使用量。
-
新的 TSP 策略折叠张量和序列并行以实现内存高效训练
研究人员引入了一种名为张量和序列并行 (TSP) 的新并行执行策略，旨在提高 Transformer 模型训练和推理过程中的内存效率。TSP 将分片模型权重的张量并行与分片 token 的序列并行结合到单个设备轴上。这种方法减少了参数和激活内存，为在内存受限的环境中或具有长上下文的场景下训练大型模型提供了一种硬件感知的替代方案。