English(EN) How coding agents like Cursor quietly cut input costs by reusing KV states across turns — and what actually breaks the cache

编码代理通过重用LLM缓存状态来降低成本

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-30 19:11

像Cursor这样的编码代理正在利用提示缓存，通过在对话轮次之间重用键/值（KV）状态来显著降低输入成本。这项技术节省了Transformer预填充阶段的中间计算，特别是对于系统指令和文件上下文等静态内容。当新请求与之前的请求共享一个公共前缀时，模型会重用缓存的状态而不是重新计算它们，这对于处理编码辅助工具中常见的巨大上下文窗口至关重要。然而，这种优化只影响输入令牌，而不影响顺序输出生成。 AI

影响这项技术可以带来更具成本效益的AI代理开发和部署。

排序理由文章解释了AI相关工具使用的技术优化，而不是核心AI发布或研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Susheem Koul · 2026-07-30 19:11

How coding agents like Cursor quietly cut input costs by reusing KV states across turns — and what actually breaks the cache

<h2> Why my Cursor bill looked weird </h2> <p>I was poking around my usage dashboard in Cursor and noticed a metric I'd never paid attention to before: <strong>Cache Read</strong>.<br /> </p> <div class="highlight js-code-highlight"> <pre class="highlight plaintext"><code>Date Ty…

报道来源 [1]

How coding agents like Cursor quietly cut input costs by reusing KV states across turns — and what actually breaks the cache

相关实体

相关话题