Spider 2.0

新的EntSQL基准测试企业知识中的文本到SQL

研究人员推出了EntSQL，一个旨在评估企业环境中文本到SQL能力的新基准测试。与之前的基准测试不同，EntSQL专注于在长上下文、专有业务文档中进行SQL生成。该基准测试包含跨越五个业务领域的1,066个对齐的中英文示例，其中许多示例需要超出即时问题和模式的知识。当前系统在此任务上面临挑战，表现最好的模型在提供长篇文档时，在英文输入上的准确率仅为15.9%。