Tensor and Sequence Parallelism
PulseAugur coverage of Tensor and Sequence Parallelism — every cluster mentioning Tensor and Sequence Parallelism across labs, papers, and developer communities, ranked by signal.
-
LLM框架联合演化路由优化启发式算法
研究人员开发了一个名为LLM驱动的启发式组件联合生成（LLM-HCJG）的新颖框架，以解决组合优化启发式设计中专家知识的局限性。这种基于种群的方法联合生成并共同演化相互依赖的启发式组件，这与之前演化孤立部分的方法不同。当应用于旅行商问题（TSP）和容量车辆路径问题（CVRP）等路由问题的引导局部搜索时，LLM-HCJG表现出卓越的性能，在绝大多数测试基准上取得了最佳或并列最佳的结果。
-
LINC架构提高了CVRPTW、TSP和CVRP的路由求解器性能
研究人员推出了一种用于构造性神经网络路由求解器的新型架构LINC（Local Inference via Normed Comparison，通过范数比较进行局部推理）。LINC明确计算诸如行程和容量变化等一步后果，将其与隐藏匹配过程解耦。该方法旨在提高复杂路由问题的性能，在时间窗车辆路径问题（CVRPTW）、车辆路径问题（CVRP）和旅行商问题（TSP）的解隙方面显著减小即证明了这一点。
-
Zyphra的TSP策略将LLM训练吞吐量提升2.6倍
Zyphra开发了一种名为张量与序列并行（TSP）的新技术，旨在优化大型Transformer模型的训练与推理。这种硬件感知的策略结合了张量并行和序列并行的方面，能够更有效地在GPU之间分配模型权重和输入序列。基准测试表明，TSP的吞吐量最高可达现有方法的2.6倍，同时还能减少每GPU的内存使用量。
-
新的 TSP 策略折叠张量和序列并行以实现内存高效训练
研究人员引入了一种名为张量和序列并行 (TSP) 的新并行执行策略，旨在提高 Transformer 模型训练和推理过程中的内存效率。TSP 将分片模型权重的张量并行与分片 token 的序列并行结合到单个设备轴上。这种方法减少了参数和激活内存，为在内存受限的环境中或具有长上下文的场景下训练大型模型提供了一种硬件感知的替代方案。