Switchyard 是一个新推出的基于 Rust 的代理和库，用于管理大型语言模型 (LLM) 流量。它有助于将请求路由到不同的 LLM 提供商，并能在 OpenAI 和 Anthropic 的 API 之间进行翻译。这使得客户端可以在保持使用原生 API 的同时，由 vLLM、NVIDIA NIM、Ollama 或任何兼容 OpenAI 的终端等各种后端处理请求。 AI
影响 简化了跨不同 API 提供商的 LLM 应用程序的集成和路由。
排序理由 该项目描述了一个与现有 AI 服务集成的新软件工具。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
