529

开发者分享LLM错误处理策略，区分可重试与不可重试错误

一位开发者分享了其处理大型语言模型（LLM）API错误不断演变的策略，强调区分瞬时故障和永久性故障的重要性。他们目前的方法是使用指数退避和抖动来重试超时、429（请求过多）和5xx服务器错误，而对于400（错误请求）、401（未授权）和403（禁止）错误则立即失败。他们还实施了重试预算，并确保中间故障能够干净地重启。一个关键的未解决问题是如何处理特定提供商的529错误或一般过载情况，特别是是应该重试还是切换到替代模型。