Strict Structured Outputs

LLM JSON 解析：严格模式会降低推理能力，两步流水线提供解决方案

虽然 LLM 的“JSON 模式”最初似乎解决了解析问题，但它在生产环境中通常会导致 4-5% 的失败率。转向使用约束解码的“严格结构化输出”可将此类失败显著降低到 0.1% 以下，但可能会使推理准确性降低 10-30%。提出的解决方案涉及一个两步流水线：先进行无约束推理，然后进行约束提取，以确保准确性和可靠性，同时还强调需要检查截断的输出。