Globex

LLM JSON 截断：挽救数据而非代价高昂的重试

当 LLM 截断 JSON 响应时，开发人员可以通过实施一种挽救已完成记录的策略来避免代价高昂的重试。与其仅仅增加 `max_tokens` 限制（这通常会导致重复截断和浪费 API 调用），不如使用 `json.JSONDecoder().raw_decode` 是一种更有效的方法。此方法允许开发人员解析截断点之前有效的 JSON 对象，然后恢复生成不完整的部分。Anthropic 和 OpenAI 的 API 都提供信号，例如 `…