最近对文本到SQL基准测试的审计显示，答案密钥存在严重不准确之处，在BIRD Mini-Dev和Spider 2.0-Snow等主要数据集中，超过50%的标注是错误的。这表明当前该领域AI代理的性能指标可能不可靠。为解决此问题，一种新方法提出根据预定义的答案规范生成数据库，而不是从现有数据库推导出答案，旨在创建更值得信赖的基准测试。 AI
影响 不准确的基准测试可能导致文本到SQL AI代理的开发和部署被误导。
排序理由 该条目讨论了一篇研究论文，该论文指出了现有文本到SQL模型基准测试的重大缺陷。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
