BIRD-financial

文本到SQL管道中的LLM作为裁判显示出重大故障，Qwen3.6-27B提供改进

arXiv上的一篇新研究论文详细介绍了在生产文本到SQL管道中使用大型语言模型（LLM）作为裁判时出现的重大故障。研究发现，GPT-4o mini在用作裁判时，与人类标注者的一致性较低，由于一种称为GRADE-HALLUCINATION的机制，经常过度标记正确的SQL查询。用自托管的Qwen3.6-27B模型替换GPT-4o mini提高了其一致性，并提供了低得多的每次调用成本，而集成多个强大的裁判模型进一步提高了准确性和覆盖率。