Yoshio Kato

TruncProof 确保 LLM 在令牌限制内生成有效的 JSON

研究人员开发了 TruncProof，这是一种确保大型语言模型 (LLM) 在严格的令牌限制内生成有效 JSON 输出的新方法。该方法利用 LL(1) 解析器的属性，在每一步高效地估算语法正确输出所需的令牌数。实验表明，TruncProof 在严格的约束下能够成功生成语法正确的 JSON，并且可以与先进的解码策略结合以提高语义准确性。