Nexus Labs 使用 Bifrost 虚拟密钥替换了 60% 的 LLM 中间件

Nexus Labs 通过使用 Bifrost 的虚拟密钥系统替换了其 11,247 行 Python 代码中的 60% 以上，显著减少了其定制的 LLM 中间件。这一改变简化了每个租户的成本归属、速率限制和提供商故障转移，将 p95 延迟从 47 毫秒降低到 8 毫秒，并将添加新模型的时间从两天缩短到不到一个小时。虽然 Bifrost 提供了实质性的改进，但 Nexus Labs 也指出了其局限性，包括成本归属迁移的挑战以及为某些代理工作负载禁用语义缓存的必要性。 AI

影响 为企业简化 LLM 成本管理和路由，可能降低运营开销和延迟。

排序理由 文章详细介绍了公司（Nexus Labs）采用和影响特定软件工具（Bifrost）以改进其 LLM 基础设施的情况，而不是发布新模型或核心研究。

在 dev.to — LLM tag 阅读 →

• Anthropic
• Bedrock
• Bifrost
• LiteLLM
• Nexus Labs
• OpenAI
• Portkey

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →