srtctl

NVIDIA 发布 srt-slurm 用于分布式 LLM 服务基准测试

NVIDIA 发布了 srt-slurm，这是一个旨在简化分布式 LLM 服务基准创建和验证的框架。该工具使用 Google Colab 进行开发演示，允许用户定义集群配置、生成参数扫描，并通过帕累托前沿分析基准测试结果。它支持各种 LLM 后端和模型路径，旨在简化在实际 GPU 集群上部署前的生产级基准脚本的准备过程。