实体
srt-slurm
srt-slurm
PulseAugur coverage of srt-slurm — every cluster mentioning srt-slurm across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
NVIDIA 发布 srt-slurm 以简化推理服务部署
NVIDIA 发布了 srt-slurm，这是一个开源的编排层，旨在简化在 Slurm 管理的 GPU 集群上部署复杂的推理服务。该工具由 NVIDIA AI 团队开发，使用基于 YAML 的配置来管理分布式服务，包括 GPU 放置、网络和就绪性检查。它对于快速设置和测试涉及分离的 prefill/decode、多个工作节点和 KV 缓存管理的代表性推理系统特别有用。
-
NVIDIA 发布 srt-slurm 用于分布式 LLM 服务基准测试
NVIDIA 发布了 srt-slurm，这是一个旨在简化分布式 LLM 服务基准创建和验证的框架。该工具使用 Google Colab 进行开发演示，允许用户定义集群配置、生成参数扫描，并通过帕累托前沿分析基准测试结果。它支持各种 LLM 后端和模型路径，旨在简化在实际 GPU 集群上部署前的生产级基准脚本的准备过程。