Don't Break the Cache

AI代理成本优化适得其反，导致提示缓存失效

一位开发者发现他们的AI代理出现了意料之外的成本增加，原因是他们进行了一项旨在减少token使用量的优化。上下文优化器本意是为每条消息发送相关的工具，但它通过在每个回合改变工具集，无意中使提示缓存失效。这导致成本升高，因为每个回合都被视为一个新的缓存条目，抵消了因token减少带来的节省。解决方案是将控制工具上限稳定性的因素与管理预算准确性的因素分开。