TooManyRequestsException

Amazon Bedrock LLM 用户面临限流；指南提供缓解策略

在 Amazon Bedrock 上运行大规模 LLM 工作负载经常会遇到限流，当请求或令牌速率超过服务配额时就会发生这种情况。为缓解此问题，用户应首先了解每个模型和区域的具体配额，区分可调整的软限制和固定的硬限制。有效的策略包括实施具有指数退避和抖动的智能重试机制、限制并发请求以及使用断路器来防止过载。此外，优化 `maxTokens` 以避免不必要的配额预留以及利用跨区域推理可以进一步减少限流事件。