Message Batches

LLM结构化输出在值约束上失败，而非形状

一位开发者遇到了LLM生成的摘要问题，特别是关于标题长度的约束。像带有Zod模式的JSON这样的结构化输出格式可以保证数据的形状，但不能强制执行值约束，例如最大字符限制。该模型在四个摘要上仅超出120个字符的限制几位字符，表明它试图遵守指令，但在生成过程中难以进行精确的算术。提出的解决方案包括通过增加模式的最大长度来创建缓冲，同时保持提示的限制较低，从而允许轻微的超限而不会丢弃有效的摘要。