LLMCascade

开发者将20个免费LLM API整合为一个统一接口

一位开发者创建了一个名为LLMCascade的开源工具，它将多个免费的大型语言模型（LLM）API整合到一个单一的统一接口中。该工具能够智能地将请求路由到Groq和Gemini等不同提供商，并管理速率限制和冷却时间，以确保持续可用性。LLMCascade可以作为本地服务器运行，允许任何兼容OpenAI的客户端使用它，并且在所有外部API都不可用时，可以选择回退到本地Ollama实例。