P5en

vLLM 引入基于推送的 KV 传输以降低 LLM 推理延迟

vLLM，一个用于大型语言模型推理的开源引擎，引入了一种基于推送的键值（KV）缓存传输机制，以提高分离推理设置的性能。这种新方法旨在通过优化 KV 缓存从预填充到解码实例的传输来减少首次令牌时间（TTFT）和每输出令牌时间（TPOT）。在 AWS EC2 P5en 实例上进行的基准测试显示，与之前的基于拉取的方法相比，Qwen3-32B 模型的 TTFT 提高了 3 倍，TPOT 提高了 30%。