一个名为SpecBridge的新基准测试被开发出来，用于识别文本到SQL模型在没有明确用户指示的情况下做出隐式选择的实例。这些模型可能会因为未说明的决策（例如在计算行数或独立实体之间进行选择）而提供一个看似合理但与用户意图不同的数值答案。标准的基准测试由于只针对单一正确解释进行评估，因此无法检测到这种歧义。SpecBridge通过呈现请求的三种变体来解决这个问题：一种保持选择开放，一种对应每种可能的解释。结果表明，虽然模型在被明确要求时可以计算出不同的解释，但它们通常无法为开放式请求提供所有解释，有时甚至不承认歧义。 AI
影响 突出了当前文本到SQL评估中的一个关键缺陷，可能有助于开发更可靠、更透明的AI助手。
排序理由 该集群描述了一种新的文本到SQL模型基准测试和评估方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
