PyYAML

NVIDIA 发布 NeMo Switchyard 以实现动态 LLM 路由

NVIDIA 发布了 NeMo Switchyard，这是一个开源的 Rust 代理，用于在不同模型之间路由 LLM 流量。该工具允许用户配置一个系统，其中初始请求由更小、更快的模型处理，并且仅在必要时根据 LLM 裁判的决定升级到更大、更强大的模型。作者成功地将 NeMo Switchyard 与 Mac 上的本地 Ollama 模型集成，尽管遇到了最初的打包和配置问题。基准测试显示代理的开销很小，在几次复杂的提示交互后会升级到更大的模型。