一种常见的使用循环式（round-robin）方法进行 LLM 流量负载均衡的方法，在与有状态的 API（如 Azure OpenAI 的 Responses API）交互时可能会导致失败。与无状态的 Chat Completions API 不同，Responses API 会在服务器端持久化对话历史和工具调用结果，并为这些项目分配唯一的 ID。当循环式（round-robin）网关将后续请求导向与最初处理对话的资源不同的资源时，API 会因无法访问在其他资源上创建的项目而以 400 错误拒绝这些请求。这个问题之所以出现，是因为 Agent 框架通常会在下一轮的输入中重放这些 ID，导致有状态的 API 失败。 AI
影响 这突显了开发 LLM 驱动的应用程序的开发人员需要注意的一个关键实现细节，表明简单的循环式（round-robin）负载均衡对于有状态的 LLM API 来说是不够的，需要更复杂的路由策略。
排序理由 该条目讨论了实现 LLM API 负载均衡的技术问题，特别指出了在使用 Azure OpenAI 的 Responses API 等有状态 API 时，循环式（round-robin）策略存在的问题。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
