Automatic Prefix Caching

vLLM 前缀缓存因单个 token 更改而失效

vLLM 的前缀缓存机制最近出现了一个问题，当系统提示中添加了一个时间戳后，缓存命中率从 89% 急剧下降到 3%。这是因为 vLLM 的自动前缀缓存 (APC) 需要精确的 token 前缀匹配才能重用 KV 缓存块。vLLM 使用的哈希链意味着，即使是单个更改的 token（如时间戳）也会使所有后续块失效。为缓解此问题，建议将指令和工具模式等静态内容放在提示的开头，然后是动态内容，并且仅在必要的粒度上使用基于时间的信息。