WarmServe

WarmServe 系统预热 GPU 以加快多 LLM 服务速度

研究人员开发了 WarmServe，一个旨在提高在共享 GPU 集群上服务多个大型语言模型 (LLM) 效率的新系统。WarmServe 采用一对多的 GPU 预热策略，根据预测的工作负载模式主动加载模型参数。这种方法旨在减少多 LLM 服务系统中常见的首个 token 时间 (TTFT) 降低问题。评估表明，与现有方法相比，WarmServe 可以显著减少尾部 TTFT 并提高请求吞吐量。