PulseAugur
中
实时 20:23:02
实体 Tensor and Sequence Parallelism

Tensor and Sequence Parallelism

PulseAugur coverage of Tensor and Sequence Parallelism — every cluster mentioning Tensor and Sequence Parallelism across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 5
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 5
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 6 条
  1. TOOL · CL_360199 ·

    为预算约束目标搜索训练的 VLN 模型优于 TSP 监督的代理

    研究人员开发了一种新方法,用于训练视觉语言导航(VLN)模型执行目标搜索任务,在此任务中,代理必须根据给定的行动预算调整其策略。他们比较了两种监督方法:一种是拥有全部环境知识并规划最优路线的特权 TSP 专家,另一种是最大化部分可观测性下预期回报的房间级 Bellman 专家。尽管 TSP 专家单独表现出更高的性能,但 Bellman 监督的 VLN 在未见过的场景中,尤其是在预算较长的情况下,表现出了更强的探索能力。这表明有效的探索…

  2. TOOL · CL_315216 ·

    新框架解决物流和机器人领域的不同旅行商问题

    研究人员开发了一个新框架来解决多样化旅行商问题(D-TSP),该问题旨在找到一组与最优路线长度差异不大且彼此之间差异最大的不同路线。这个问题对于物流规划、机器人和战略巡逻等应用至关重要。提出的解决方案包括一个采样阶段和一个选择阶段,并为最优采样分布提供了理论保证。在实践中,该框架表现出可学习性,并在各种实例上优于现有基线。

  3. TOOL · CL_233719 ·

    LLM框架联合演化路由优化启发式算法

    研究人员开发了一个名为LLM驱动的启发式组件联合生成(LLM-HCJG)的新颖框架,以解决组合优化启发式设计中专家知识的局限性。这种基于种群的方法联合生成并共同演化相互依赖的启发式组件,这与之前演化孤立部分的方法不同。当应用于旅行商问题(TSP)和容量车辆路径问题(CVRP)等路由问题的引导局部搜索时,LLM-HCJG表现出卓越的性能,在绝大多数测试基准上取得了最佳或并列最佳的结果。

  4. TOOL · CL_21985 ·

    LINC架构提高了CVRPTW、TSP和CVRP的路由求解器性能

    研究人员推出了一种用于构造性神经网络路由求解器的新型架构LINC(Local Inference via Normed Comparison,通过范数比较进行局部推理)。LINC明确计算诸如行程和容量变化等一步后果,将其与隐藏匹配过程解耦。该方法旨在提高复杂路由问题的性能,在时间窗车辆路径问题(CVRPTW)、车辆路径问题(CVRP)和旅行商问题(TSP)的解隙方面显著减小即证明了这一点。

  5. RESEARCH · CL_15158 ·

    Zyphra的TSP策略将LLM训练吞吐量提升2.6倍

    Zyphra开发了一种名为张量与序列并行(TSP)的新技术,旨在优化大型Transformer模型的训练与推理。这种硬件感知的策略结合了张量并行和序列并行的方面,能够更有效地在GPU之间分配模型权重和输入序列。基准测试表明,TSP的吞吐量最高可达现有方法的2.6倍,同时还能减少每GPU的内存使用量。

  6. RESEARCH · CL_09826 ·

    新的 TSP 策略折叠张量和序列并行以实现内存高效训练

    研究人员引入了一种名为张量和序列并行 (TSP) 的新并行执行策略,旨在提高 Transformer 模型训练和推理过程中的内存效率。TSP 将分片模型权重的张量并行与分片 token 的序列并行结合到单个设备轴上。这种方法减少了参数和激活内存,为在内存受限的环境中或具有长上下文的场景下训练大型模型提供了一种硬件感知的替代方案。