实体 BIRD Mini-Dev

BIRD Mini-Dev

PulseAugur coverage of BIRD Mini-Dev — every cluster mentioning BIRD Mini-Dev across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_137605 · Jul 11 · 18:01

文本到SQL基准测试存在缺陷：超过一半的答案密钥不正确

最近对文本到SQL基准测试的审计显示，答案密钥存在严重不准确之处，在BIRD Mini-Dev和Spider 2.0-Snow等主要数据集中，超过50%的标注是错误的。这表明当前该领域AI代理的性能指标可能不可靠。为解决此问题，一种新方法提出根据预定义的答案规范生成数据库，而不是从现有数据库推导出答案，旨在创建更值得信赖的基准测试。