workflow engine

LLM结构化输出需要强大的验证，而不仅仅是提示

在生产环境中，从大型语言模型生成可靠的结构化输出（如JSON）不仅仅是提示格式那么简单。开发者必须实施强大的验证和恢复策略，将结构化输出视为API契约，而非格式偏好。这包括解析、模式验证和业务规则检查，并针对不同类型的失败制定具体的修复策略，而不是简单的重试。通过限制尝试次数、token使用量和超时时间来约束修复循环至关重要，以防止成本超支，而仔细的模型选择可以优化结构化数据任务的性能和可靠性。