arXiv:2601.08778

文本到 SQL 基准测试错误突显了有缺陷的黄金标准

对 BIRD-dev 文本到 SQL 基准测试的新分析揭示了其黄金标准 SQL 注释存在重大问题，近 20% 的模型错误源于基准测试错误地将正确的模型输出标记为错误。研究人员发现，基准测试的评分机制经常因为模型添加了 `DISTINCT` 子句而惩罚模型，而这些子句实际上比提供的黄金 SQL 更准确。这表明，由于过度拟合有缺陷的注释，直接针对基准测试分数进行优化可能会导致模型在实际应用中表现更差。