Respan Gateway 是一个使用 Rust 构建的、插件优先的新型开源 LLM 网关。其设计旨在通过最小化核心代码,并利用模块化插件处理特定提供商的逻辑、重试和使用情况跟踪,从而简化连接到各种 LLM 提供商的过程。这种受 Nginx 启发的做法允许在不破坏现有功能的情况下轻松添加功能和更新,尽管自定义逻辑需要重新编译。 AI
影响 通过抽象特定提供商的代码并提供基于插件的架构,简化了 LLM 集成。
排序理由 该条目描述了一个用于 LLM 集成的新开源工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →