Ray Serve
PulseAugur coverage of Ray Serve — every cluster mentioning Ray Serve across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Ray Serve 通过自动扩缩容和多模型支持简化 AI 模型部署
Ray Serve 是一个分布式计算框架，旨在简化和扩展 AI 模型的部署，特别是针对复杂的推理管道。它构建在 Ray 框架之上，通过提供强大的自动扩缩容、多模型管理和 Pythonic API，相比 Ollama 或自定义 FastAPI 后端等更简单的解决方案具有优势。Ray Serve 可以处理顺序、并行和多步推理模式，使其适用于大规模、多节点的 AI 服务需求。
-
KServe 和 Llm D 在加权 LLM 服务基准测试中险胜 Ray Serve
对 LLM 服务框架的比较显示，虽然 Ray Serve 在原始指标上以微弱优势胜过 KServe 和 Llm D，但在对特定标准进行加权后，KServe 和 Llm D 可能更胜一筹。该分析考虑了十个不同的标准来评估这些工具在 LLM 服务堆栈中的性能和适用性。
-
Anyscale 推出 Ray 加速器 SIG 以优化 AI 工作负载
Anyscale 宣布成立一个特别兴趣小组 (SIG)，专注于优化 Ray 分布式计算框架在 GPU 和 TPU 等加速器上的使用。该倡议旨在促进开发者与硬件供应商之间的协作，以提高在专用硬件上运行的 AI 和机器学习工作负载的性能和效率。SIG 将促进讨论和开发工作，以确保 Ray 有效地利用现代加速器的强大功能。
-
通过量化、内存、并行和调度探索 LLM 推理效率
研究人员正在探索各种方法来提高大型语言模型 (LLM) 推理的效率和可扩展性。一种方法侧重于通过量化技术实现能源效率，在精度损失极小的情况下展示出显著的节能效果，尤其是在融合内核实现中。另一个研究领域涉及为 LLM 加装外部内存模块，以更有效地处理长上下文，提高准确性并减少内存使用。此外，研究正在调查并行策略，例如张量并行和流水线并行，以优化分布式 LLM 服务系统的吞吐量和延迟权衡。最后，正在为无服务器 LLM 推理开发新颖的调度框…
-
AWS 推出新的 Ray Serve 容器，简化 AI 推理流程，因 TorchServe 已弃用
AWS 发布了新的深度学习容器 (DLCs)，利用 Ray Serve 来简化和支持之前由 TorchServe 管理的工作负载。TorchServe 已不再积极维护，用户需要自行负责管理其依赖项、安全补丁和兼容性问题。新的 Ray Serve DLCs 可用于 Amazon EKS 和 Amazon SageMaker，将 PyTorch、CUDA 和 Ray Serve 打包到一个经过测试和维护的容器中，减少了工程师的重复性工作，…
-
Ray Serve 延迟问题影响 MLOps 性能
一位开发者发现，模型服务框架 Ray Serve 在其 MLOps 管道中引入了大约 67 毫秒的延迟。这种延迟并不明显，被描述为“悄悄偷走”了性能。这个问题凸显了在 MLOps 中进行细致性能监控的重要性，以识别和解决细微的性能下降。
-
Anyscale 详细介绍了用于视频索引服务的 Ray Serve 异步推理
Anyscale 详细介绍了其 Ray Serve 中异步推理功能的一个实际实现，并展示了其在视频索引服务中的应用。该服务利用 Redis 或 RabbitMQ 等消息队列进行后台处理，能够高效地处理视频分析等长时间运行的任务，而不会阻塞客户端请求。该架构包括用于入口、视频消费和分块以及基于 GPU 的嵌入的独立部署，并根据队列深度和 GPU 负载进行自动扩展。
-
Google Ray Serve 在 TPU 上简化多主机 AI 推理
Google 展示了 Ray Serve 在其张量处理单元 (TPU) 上的运行情况，重点关注多主机模型的 gang scheduling。这种方法旨在简化可扩展推理堆栈（超出单节点设置）的基础设施复杂性。该开发细节在 Google 的一篇博文中有所介绍，强调了大规模 AI 部署的实际应用。
-
Anyscale 通过在 AMD 上分离预填充-解码来降低 LLM 服务成本
Anyscale 通过分离推理的预填充和解码阶段，在 LLM 服务方面实现了显著的成本节省。该方法将提示处理与 token 生成分开，减少了干扰并提高了吞吐量。虽然这种方法可以降低高达 67% 的成本并提高每秒查询次数 2.3 倍，但它会增加操作复杂性，并可能略微增加首次 token 的时间。
-
Anyscale 为 vLLM 中的 MoE 模型增加了 Ray Serve 容错功能
Anyscale 为其 vLLM 服务引擎引入了新的容错功能，该引擎与 Ray Serve 集成。此增强功能专门解决了部署大型专家混合（MoE）模型的挑战，这些模型被分片到多个 GPU 上。当一个数据并行（DP）组中的单个 GPU 发生故障时，新系统现在可以识别并重新启动构成该 DP 组的整个 GPU 组，从而防止整个部署变得不可用。