LLMBrake

SaaS开发者现在可以追踪每个客户的LLM API成本

一位开发者分享了在SaaS应用程序中管理OpenAI和Anthropic API成本的策略。该方法涉及实时将API调用成本归因于单个客户，而不是依赖提供商设定的限制。这种方法可以实现主动成本控制，例如当客户接近预算时降级到更便宜的模型，或在达到限额时阻止他们，从而防止支出失控和无利可图的账户。该开发者还发布了一个名为LLMBrake的开源TypeScript库来实现这种模式。