503

LLM 重试和超时会使成本翻倍，尤其是在负载下

本文详细介绍了 LLM 系统中重试、超时和故障转移的财务影响。文章解释说，预生成失败（如速率限制或错误请求）的重试成本相对较低，成本仅略有增加。然而，后生成超时成本却高得多，因为 LLM 已经完成了工作并为此付费，导致单个逻辑请求的成本翻倍。当系统负载增加时，这个问题会加剧，导致延迟飙升和重试的反馈循环。故障转移到不同的提供商会引入额外的成本复杂性，具体取决于链中每个提供商的定价。