研究人员开发了一种名为自适应采样近似预期未来(ASAp)的新解码算法,以解决大型语言模型(LLM)语法约束解码的局限性。现有方法可能会扭曲LLM的输出分布,即使在语法正确的情况下也会导致结果质量下降。ASAp旨在确保输出既符合语法,又与LLM的原始概率分布保持一致,其在代码生成和结构化NLP任务上的表现证明了这一点。 AI
影响 提高了LLM结构化输出生成的可靠性和质量,这对于代码和标记生成等任务至关重要。
排序理由 详细介绍LLM解码新算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →