QuotaGuard

LLM token计数器缺陷揭示，提出预留系统

一位开发者发现了常见LLM支出限制实现中的两个关键缺陷。第一个问题源于检查和token添加的分离，允许多个并发请求在任何更新发生之前通过限制检查，导致显著的超额支出。第二个缺陷涉及预先收取预估的token使用费用，但对于失败的调用没有退款机制，这可能导致预算在无用的请求上耗尽。开发者提出了一种使用预留系统的解决方案，该系统在API调用之前立即占用预算，并提供提交/释放机制来准确跟踪实际成本并处理失败。