PulseAugur
实时 23:27:38
实体 Ray Serve

Ray Serve

PulseAugur coverage of Ray Serve — every cluster mentioning Ray Serve across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_47643 ·

    Anyscale 为 vLLM 中的 MoE 模型增加了 Ray Serve 容错功能

    Anyscale 为其 vLLM 服务引擎引入了新的容错功能,该引擎与 Ray Serve 集成。此增强功能专门解决了部署大型专家混合(MoE)模型的挑战,这些模型被分片到多个 GPU 上。当一个数据并行(DP)组中的单个 GPU 发生故障时,新系统现在可以识别并重新启动构成该 DP 组的整个 GPU 组,从而防止整个部署变得不可用。