KV states

编码代理通过重用LLM缓存状态来降低成本

像Cursor这样的编码代理正在利用提示缓存，通过在对话轮次之间重用键/值（KV）状态来显著降低输入成本。这项技术节省了Transformer预填充阶段的中间计算，特别是对于系统指令和文件上下文等静态内容。当新请求与之前的请求共享一个公共前缀时，模型会重用缓存的状态而不是重新计算它们，这对于处理编码辅助工具中常见的巨大上下文窗口至关重要。然而，这种优化只影响输入令牌，而不影响顺序输出生成。