triage_free.py

LLM免费试用失败：分诊脚本区分限速与截断

一篇博文提供了一种五分钟的分诊方法，用于区分与大型语言模型（LLM）免费试用版交互时遇到的限速错误和截断错误。作者提供了一个Python脚本，该脚本向LLM端点发送三个探测请求：第一个用于检查基本可达性，第二个用于测试参数验证（如max_tokens），第三个用于评估生成速度和完成原因。通过分析这些探测请求的HTTP状态码、响应时间和完成原因，用户可以准确诊断其LLM调用是由于服务器端限流、无效参数还是输出截断而失败。