English(EN) Your LLM JSON Got Cut Off. Don't Just Raise max_tokens

LLM JSON 截断：挽救数据而非代价高昂的重试

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-01 01:01

当 LLM 截断 JSON 响应时，开发人员可以通过实施一种挽救已完成记录的策略来避免代价高昂的重试。与其仅仅增加 `max_tokens` 限制（这通常会导致重复截断和浪费 API 调用），不如使用 `json.JSONDecoder().raw_decode` 是一种更有效的方法。此方法允许开发人员解析截断点之前有效的 JSON 对象，然后恢复生成不完整的部分。Anthropic 和 OpenAI 的 API 都提供信号，例如 `stop_reason` 或 `finish_reason`，以指示响应何时因令牌限制而被截断，从而使开发人员能够实施此挽救策略。 AI

影响使开发人员能够更高效、更经济地处理 LLM 生成的 JSON 数据，减少浪费的 API 调用并提高应用程序的可靠性。

排序理由该项目描述了一种处理常见 LLM 输出问题的实用技术，为开发人员提供了具体的解决方案。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Alex Spinov · 2026-07-01 01:01

您的 LLM JSON 输出被截断。不要只增加 max_tokens

<p>Your agent asked a model for a JSON array of records. The model started writing it, ran into the token cap, and stopped halfway through an object. Your code called <code>json.loads</code> on the whole response, caught a <code>JSONDecodeError</code>, and returned an empty list.…

报道来源 [1]

您的 LLM JSON 输出被截断。不要只增加 max_tokens

相关实体

相关话题