LLMCircuitBreaker

开发者构建 LLM 断路器以控制预算并进行本地回退

一位开发者创建了一个轻量级的 LLM 断路器工具，以防止意外成本并确保小型 AI 项目的持续运行。该工具用大约 200 行 Python 代码编写，允许用户为付费 LLM API 设置每日支出限额。如果达到支出限额，该工具会自动切换到免费的、本地托管的模型，从而防止服务中断和预算超支。它被设计为一个进程内库，适用于独立开发者和小型代理系统，与更复杂的 LLM 网关解决方案区分开来。