English(EN) Your LLM fused the two columns you asked for — and the eval marked it wrong

文本到SQL模型在评估中因“乐于助人”而受到惩罚

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-07 20:43

文本到SQL评估中的一个常见问题是，模型会因过于“乐于助人”而受到惩罚。当模型将两列（例如，first_name和last_name）合并为一列时，像BIRD这样的评估指标会错误地将答案标记为错误，因为它们会比较行形状。尽管模型正确地呈现了信息，但其单列输出与黄金标准的两列结构不匹配。一个简单的提示指令，指示模型除非明确要求合并字符串，否则将每个请求的属性作为其自己的列返回，可以通过解决这种结构不匹配来显著提高准确性。 AI

影响凸显了当前文本到SQL评估方法中一项惩罚模型“乐于助人”行为的缺陷，表明需要更细致的评分。

排序理由该条目讨论了文本到SQL评估指标的一个具体问题和拟议解决方案，类似于研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

BIRD
SQLite

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目讨论了文本到SQL评估指标的一个具体问题和拟议解决方案，类似于研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 49 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Omer Hochman · 2026-07-07 20:43

您要求的两个列被您的LLM融合了——但评估将其标记为错误

<p>You ask a text-to-SQL model to "list the members' names". The benchmark's gold query returns <code>first_name, last_name</code> — two columns. The model returns one: a helpfully assembled full name. Read side by side, the model's answer is arguably the better one. The scorer m…

本文如何被排名

报道来源 [1]

您要求的两个列被您的LLM融合了——但评估将其标记为错误

相关实体

相关话题