Sequence Parallelism
PulseAugur coverage of Sequence Parallelism — every cluster mentioning Sequence Parallelism across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的HSAP框架提升了混合上下文模型LLM的训练效率
研究人员推出了一种名为HSAP（Hierarchical Sequence-aware Parallelism）的框架，旨在提高大型语言模型训练的效率。这种新方法解决了处理混合上下文序列和因果注意力计算中的挑战，这些在预训练和微调中常用的打包序列中很常见。HSAP通过优化跨多个设备组的张量传输和注意力计算，并利用JIT编译进行通信策略，来克服现有序列并行方法的局限性。
-
聚光灯系统利用Spot GPU降低DiT强化学习的训练后成本
研究人员开发了聚光灯（Spotlight），一个旨在显著降低强化学习扩散Transformer（DiTs）训练后成本的新颖系统。通过利用对探索容忍度的洞察以及序列并行（SP）组的高效重新配置，聚光灯有效地利用了廉价的Spot GPU。该系统引入了基于老虎机（bandit-based）的探索规划、弹性序列并行和预占感知调度等技术，以维持训练的连续性和状态。
-
Zyphra的TSP策略将LLM训练吞吐量提升2.6倍
Zyphra开发了一种名为张量与序列并行（TSP）的新技术，旨在优化大型Transformer模型的训练与推理。这种硬件感知的策略结合了张量并行和序列并行的方面，能够更有效地在GPU之间分配模型权重和输入序列。基准测试表明，TSP的吞吐量最高可达现有方法的2.6倍，同时还能减少每GPU的内存使用量。
-
新的 TSP 策略折叠张量和序列并行以实现内存高效训练
研究人员引入了一种名为张量和序列并行 (TSP) 的新并行执行策略，旨在提高 Transformer 模型训练和推理过程中的内存效率。TSP 将分片模型权重的张量并行与分片 token 的序列并行结合到单个设备轴上。这种方法减少了参数和激活内存，为在内存受限的环境中或具有长上下文的场景下训练大型模型提供了一种硬件感知的替代方案。