0xishand

NVIDIA 发布 srt-slurm 以简化推理服务部署

NVIDIA 发布了 srt-slurm，这是一个开源的编排层，旨在简化在 Slurm 管理的 GPU 集群上部署复杂的推理服务。该工具由 NVIDIA AI 团队开发，使用基于 YAML 的配置来管理分布式服务，包括 GPU 放置、网络和就绪性检查。它对于快速设置和测试涉及分离的 prefill/decode、多个工作节点和 KV 缓存管理的代表性推理系统特别有用。