DCGM

LLM 服务可观测性：vLLM 和 TGI 的分层方法

本文详细介绍了如何为 vLLM 和 TGI 等大型语言模型推理服务器实现端到端可观测性。文章指出，由于 LLM 服务特有的可变延迟、动态批处理以及 KV 缓存的关键作用等特性，标准的可观测性工具存在不足。作者提出了一种分层方法，将面向用户的 Token 渲染与底层的 GPU 芯片指标相关联，并提供了从业务成本到 GPU 硬件的每个层级需要监控的具体信号。