Projected LLM spend

租户集成错误导致 LLM 成本激增 9,100 美元

一家软件开发公司因单个租户的集成错误，在六天内经历了约 9,100 美元的意外 LLM 成本激增。该问题源于一个重构的功能，该功能错误地将 LLM 摘要调用置于轮询循环中，导致每日调用次数从 2,000 次增加到 140,000 次。由于该公司的监控仪表板聚合了数据，掩盖了整体平台支出正常噪声带中的异常情况，因此未能注意到这次重大的成本超支。修复措施包括实施每个租户和每个功能的成本归属，并为每个租户基线特定的支出速率异常设置警报。