AI Horde

FreeLLMAPI 将 18 个免费 LLM 层整合为一个兼容 OpenAI 的 API

FreeLLMAPI 开发了一个工具，将 18 个不同的免费大型语言模型层整合为一个单一的、统一的、兼容 OpenAI 标准的 API。该服务旨在通过智能地在包括 Google 和 Mistral 等主要参与者以及较小的匿名网关在内的各种提供商之间路由请求，来提供可观的月度推理能力。其核心创新在于其复杂的计费和路由系统，该系统会仔细跟踪每个模型和提供商的速率限制，并动态调整以避免超出配额并优化速度和可靠性。