renevibe76

开发者分享用于 LLM API 重试逻辑的故障注入工具

一位开发者创建了一个本地 HTTP 服务器，可以向 LLM API 调用注入故障，例如 429 Too Many Requests 或 500 Internal Server Errors。该工具允许开发者在真实的错误条件下测试其重试逻辑，确保其应用程序能够优雅地处理 API 故障。该服务器模仿了一个聊天补全端点，并可以配置一系列错误，包括超时和特定的重试延迟，以模拟生产环境中的场景。