CostLLM

开发者推出开源网关以管理LLM成本和复杂性

两位独立开发者创建了开源解决方案，以管理直接集成大型语言模型（LLM）（如OpenAI的模型）所带来的成本和复杂性。CostLLM使用Python和FastAPI构建，提供虚拟API密钥以进行精细成本跟踪、预算控制和速率限制等功能。Bifrost是另一个网关，旨在为LLM基础设施提供统一的解决方案，解决直接API调用带来的可靠性、成本超支、性能瓶颈、治理和供应商锁定等挑战。