Eighty Five Percent Problem

LLM 在可靠的 JSON 输出方面遇到困难，促使采用稳健的验证策略

开发人员在大型语言模型 (LLM) 返回格式错误的 JSON 方面遇到了持续存在的问题，这可能导致生产事故。虽然 LLM 有很高的概率生成语法上有效的 JSON，但它们通常无法遵守特定的模式、包含多余的文本或存在类型不匹配。解决方案包括约束解码（在生成过程中屏蔽无效令牌）或使用 Zod 等工具在 Next.js 等框架中进行强大的后处理和验证层，以确保数据完整性，然后再将其输入应用程序管道。