AgentCore Gateway 是 Amazon Bedrock 的 AgentCore 系列中的一个组件,现已提供自动化模型回退功能。当主模型出现限流、不可用或延迟过高时,此功能允许将请求重新路由到备用模型。该网关接受 Bedrock InvokeModel API 调用,并可以管理多达两个备用目标的链条,包括一个断路器,对客户端应用程序的干扰极小。此增强功能对于对一致可用性至关重要的生产环境特别有用,但必须仔细考虑有效负载模式兼容性以及主模型和备用模型之间响应质量的潜在差异。 AI
影响 通过提供到备用模型的自动故障转移,增强了 LLM 应用程序的可靠性,这对于生产依赖至关重要。
排序理由 该条目描述了现有产品 AgentCore Gateway 的一项新功能,AgentCore Gateway 是 Bedrock 的托管入口点。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →