实体
DCGM
DCGM
PulseAugur coverage of DCGM — every cluster mentioning DCGM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Kubernetes GPU 节点设置对 LLM 部署至关重要
本文详细介绍了在 Kubernetes 环境中为大型语言模型 (LLM) 准备 GPU 节点的复杂过程。文章强调，仅仅向节点添加 GPU 是不够的，因为 Kubernetes 需要有关硬件和软件堆栈的特定信息才能做出最佳放置决策。文章概述了 NVIDIA 驱动程序、CUDA 兼容性、NVIDIA Container Toolkit 和设备插件等基本组件，并强调了这些细节如何影响调度和模型部署的成功。
-
LLM 服务可观测性：vLLM 和 TGI 的分层方法
本文详细介绍了如何为 vLLM 和 TGI 等大型语言模型推理服务器实现端到端可观测性。文章指出，由于 LLM 服务特有的可变延迟、动态批处理以及 KV 缓存的关键作用等特性，标准的可观测性工具存在不足。作者提出了一种分层方法，将面向用户的 Token 渲染与底层的 GPU 芯片指标相关联，并提供了从业务成本到 GPU 硬件的每个层级需要监控的具体信号。