开发了一个名为ARCS的新基准来解决文本到SQL系统中的歧义挑战。该基准包含真实世界数据库上的自然歧义,并附带了有效歧义点、解释和相应SQL查询的注释。ARCS的初步实验表明,当前的文本到SQL模型在处理歧义时存在困难,GPT-6 Sol模型的执行准确率仅为51%,开源模型的准确率低于27%。提出的结构化消歧范式旨在通过显式、受约束的交互来解决这些歧义,而不是通过对话澄清。 AI
影响 强调了开发能够处理现实世界歧义的健壮文本到SQL系统所面临的重大挑战,可能为该领域的未来研究提供指导。
排序理由 该集群描述了一个新的学术基准和相关的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →