PromptCrunch 开发了一项代理服务，旨在通过在对话历史到达模型之前对其进行优化来降低 LLM 输入 token 成本。该工具解决了无状态多轮对话的问题，在这种对话中，每次交互都会重新发送整个历史记录，导致账单膨胀。PromptCrunch 会压缩陈旧信息并重用摘要，从而节省大量成本，尤其是在传统缓存方法效果不佳的长多轮交互中。 AI
影响 降低依赖长多轮 LLM 对话的 AI 应用的运营成本。
排序理由 AI 相关工具的新产品发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>I kept watching my Claude Code bill climb through long sessions, and most of it was not new work. It was the same conversation getting re-sent every turn. A multi-turn call is stateless, so your client ships the whole history each time: file reads, tool output, old diffs, all …