一位开发者应用了1913年的库存管理理论来优化长期LLM会话的成本。通过分析Anthropic和DeepSeek等提供商的提示缓存成本，他们发现上下文就像库存一样，重新读取之前的对话会产生复合成本。最初由Ford Harris开发的经济订货量（EOQ）公式可以用来确定重启LLM会话的最佳点，以最大限度地降低总成本。该分析显示，重启时机对成本的影响上限约为41.4%，大部分成本是不可避免的基础费用。 AI
影响 提供了一个管理LLM运营成本的新框架，可能影响开发者与长期AI会话的交互方式和付费方式。
排序理由 开发者将成熟的经济学理论应用于LLM成本优化，提供了实际建议，而非新的发布或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
