一项新的研究论文介绍了一种名为“基于事实的代码生成”(Grounded Code Generation, GCG)的诊断协议,旨在识别大型语言模型在面对结构化数据查询的自然语言时,未能识别出多种计算解释的场景。这种失败被称为“不明确决策完成”(Underspecified Decision Completion, UDC),模型会默默地采纳假设,从而导致不正确的结果。GCG将未解决决策的识别、使用证据解决这些决策以及将其转换为可执行代码的过程分离开来。在包含十二个模型的BIRD-Pandas数据集上的实验表明,虽然回答澄清问题可以提高准确性,但显著的错误仍然存在,这表明首要挑战在于识别哪些问题需要澄清。 AI
影响 引入了一种更好地理解和潜在缓解大型语言模型在结构化数据查询中错误的方法,提高了可靠性。
排序理由 在arXiv上发表的研究论文,详细介绍了一种新的大型语言模型诊断协议。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →