David Abitbol

GLM-5.3 自托管因 KV 缓存复制，长时间编码需要 8 个 GPU

使用 vLLM 自托管 GLM-5.3 模型进行扩展编码会话比最初预期的需要更多的 GPU 资源。虽然模型可以装入 4 个 GPU，但最佳性能和内存处理，特别是对于 KV 缓存，需要 8 个 GPU。这是因为 vLLM 的实现导致每个 GPU 持有对话 KV 缓存的完整副本，当从 4 个 GPU 增加到 8 个 GPU 时，内存需求加倍。文章提供了一个 Python 脚本，帮助用户根据模型配置和所需的上下文长度计算其特定需求。