Avinash Reddy Chapparapu

新的 LLM 解码方法提高了准确性和效率

两篇新的研究论文提出了改进大型语言模型 (LLM) 解码效率和准确性的新方法。第一种方法，Draft-Conditioned Constrained Decoding (DCCD)，通过将语义规划与结构强制执行分离来解决生成 JSON 或 API 调用等结构化输出的挑战，从而在严格的结构化准确性方面取得了显著改进。第二种方法，Depth Exploration Decoding (DEX)，通过并行探索多个中间层深度来优化自回归解码过…