SpendGuard

开发者构建本地CLI审计LLM账单，发现6.9%的过度收费

一位开发者创建了一个名为SpendGuard的本地命令行工具来审计大型语言模型（LLM）的支出，发现由于缓存的token按全价收费，导致其OpenAI账单被过度收费了6.9%。该工具使用Python构建，充当本地代理，生成独立的收据，并可以强制执行硬预算截止，以防止意外成本。SpendGuard旨在建议更具成本效益的模型选择和缓存策略，有可能显著降低支出，同时确保用户的API密钥和数据保留在本地机器上。