PulseAugur
中
实时 00:05:00
English(EN) Your LLM fused the two columns you asked for — and the eval marked it wrong

文本到SQL模型在评估中因“乐于助人”而受到惩罚

作者 PulseAugur 编辑部 · [1 个来源] ·

文本到SQL评估中的一个常见问题是，模型会因过于“乐于助人”而受到惩罚。当模型将两列（例如，first_name和last_name）合并为一列时，像BIRD这样的评估指标会错误地将答案标记为错误，因为它们会比较行形状。尽管模型正确地呈现了信息，但其单列输出与黄金标准的两列结构不匹配。一个简单的提示指令，指示模型除非明确要求合并字符串，否则将每个请求的属性作为其自己的列返回，可以通过解决这种结构不匹配来显著提高准确性。 AI

影响 凸显了当前文本到SQL评估方法中一项惩罚模型“乐于助人”行为的缺陷，表明需要更细致的评分。

排序理由 该条目讨论了文本到SQL评估指标的一个具体问题和拟议解决方案，类似于研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

文本到SQL模型在评估中因“乐于助人”而受到惩罚

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Omer Hochman ·

    您要求的两个列被您的LLM融合了——但评估将其标记为错误

    <p>You ask a text-to-SQL model to "list the members' names". The benchmark's gold query returns <code>first_name, last_name</code> — two columns. The model returns one: a helpfully assembled full name. Read side by side, the model's answer is arguably the better one. The scorer m…

相关实体

相关话题