CodeLlama-Instruct (7B)

评估本地部署大语言模型在BIRD基准上的Text-to-SQL能力

一篇新论文使用BIRD基准评估了本地部署的、开源权重的大语言模型（LLMs）在Text-to-SQL任务上的性能。研究发现，较新的模型一代，如Qwen2.5-Coder和Llama-3.x，在同等规模下显著优于CodeLlama-Instruct等旧模型。诸如自我纠错等关键技术在不同模型家族中均显示出持续的优势，而模式链接（schema linking）未带来可衡量的改进，自洽性（self-consistency）因计算成本高而价值不高。