GradeSQL

新框架GradeSQL提升LLM在文本到SQL任务中的可靠性

研究人员开发了GradeSQL，一个用于提高大型语言模型（LLM）在文本到SQL任务中可靠性的新框架。该框架利用结果奖励模型（ORMs）作为测试时验证的学习语义评分函数。GradeSQL使用自动候选生成和基于执行的标注来训练这些ORMs，无需人工标注。当集成到Best-of-N管道中时，基于ORM的选择在BIRD和Spider基准测试上的性能显著优于传统方法。