Buildkite 使用多 LLM 网关确保功能正常运行时间

Buildkite 的工程团队实施了一项策略，以维持其自然语言构建查询功能的可用性，尽管依赖外部 LLM 提供商。他们部署了一个名为 Bifrost 的网关，该网关将请求路由到 OpenAI、Anthropic 和 Bedrock 等多个 LLM 提供商。这种故障转移机制确保，如果一个提供商出现中断或限流，请求会自动路由到另一个提供商，从而保持更高的整体服务正常运行时间，并允许他们根据网关的性能而不是单个 LLM 提供商的状态来跟踪可用性。 AI

影响 通过抽象化 LLM 提供商的不稳定性，实现更强大的企业应用程序。

排序理由 文章描述了为解决管理 LLM 依赖项的实际问题而实施的特定工具（Bifrost）。

在 dev.to — LLM tag 阅读 →

• Anthropic
• Bedrock
• Bifrost
• Buildkite
• Claude 3.5 Haiku
• GPT-4o mini
• LiteLLM
• OpenAI
• Portkey

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →