一个名为 UniQL 的新基准测试旨在将自然语言问题转换为各种方言的 SQL 查询,突显了大型语言模型的性能差异。在 UniQL 的 Oracle 方言上,Claude Sonnet 4.5 的准确率为 49.61%,而 Gemini 2.5 Pro 的准确率为 26.14%。通过实施针对 Oracle 语法和保留字量身定制的特定提示规则,Gemini 2.5 Flash 模型能够将其单次尝试的准确率从 35% 提高到 64.5%,超过了之前报告的最佳分数。 AI
影响 展示了提示工程和特定数据库规则对 LLM 在 Text-to-SQL 任务中性能的显著影响。
排序理由 新基准测试和模型在特定任务上的性能比较。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →