BudgetSchemaBench

新的诊断工具评估文本到SQL模型在模式上下文预算上的表现

研究人员开发了BudgetSchemaBench，一个旨在评估文本到SQL模型在有限上下文窗口内处理大型数据库模式能力的新诊断工具。该工具使用从黄金SQL查询派生的执行验证相关性标签，来评估在各种模式上下文预算和序列化方法上的性能。研究结果表明，增加模式预算可显著提高执行准确性，特别是对于词汇检索，而密集检索方法对预算变化的敏感度较低。