开发人员观察到，即使在用户流量稳定的情况下，他们的AI成本也没有下降，这是由于缓存和工作重用方面的效率低下。主要问题似乎是AI系统经常无法识别和重用相同或相似的执行路径，导致检索和规划等任务的计算被重复执行。当缓存键没有考虑到输入中的微小差异（如消息顺序、时间戳或系统提示差异）时，就会发生这种情况，从而导致缓存未命中和成本膨胀。 AI
影响 效率低下的缓存策略可能会继续推高AI应用程序的运营成本，因此需要更好的方法来识别和重用计算。
排序理由 该条目是开发人员对AI成本的观察和提问，而非发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
