实体
Tensor and Sequence Parallelism
Tensor and Sequence Parallelism
PulseAugur coverage of Tensor and Sequence Parallelism — every cluster mentioning Tensor and Sequence Parallelism across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
LINC架构提高了CVRPTW、TSP和CVRP的路由求解器性能
研究人员推出了一种用于构造性神经网络路由求解器的新型架构LINC（Local Inference via Normed Comparison，通过范数比较进行局部推理）。LINC明确计算诸如行程和容量变化等一步后果，将其与隐藏匹配过程解耦。该方法旨在提高复杂路由问题的性能，在时间窗车辆路径问题（CVRPTW）、车辆路径问题（CVRP）和旅行商问题（TSP）的解隙方面显著减小即证明了这一点。
-
Zyphra的TSP策略将LLM训练吞吐量提升2.6倍
Zyphra开发了一种名为张量与序列并行（TSP）的新技术，旨在优化大型Transformer模型的训练与推理。这种硬件感知的策略结合了张量并行和序列并行的方面，能够更有效地在GPU之间分配模型权重和输入序列。基准测试表明，TSP的吞吐量最高可达现有方法的2.6倍，同时还能减少每GPU的内存使用量。
-
新的 TSP 策略折叠张量和序列并行以实现内存高效训练
研究人员引入了一种名为张量和序列并行 (TSP) 的新并行执行策略，旨在提高 Transformer 模型训练和推理过程中的内存效率。TSP 将分片模型权重的张量并行与分片 token 的序列并行结合到单个设备轴上。这种方法减少了参数和激活内存，为在内存受限的环境中或具有长上下文的场景下训练大型模型提供了一种硬件感知的替代方案。