PulseAugur
中
实时 08:07:43
English(EN) The Shared Word: Evaluating Language Models on Dutch Word Puzzles

新的荷兰语单词谜题基准凸显了大型语言模型的局限性

研究人员推出了“共享词”(The Shared Word, TSW-NL),一个旨在评估语言模型在荷兰语单词谜题上表现的新基准。与许多现有的非英语语言基准不同,TSW-NL 是特定语言的、开放词汇的、人工策划的,并且是确定性评分的。该基准包含 222 个实例,每个实例提供三个线索来描述一个荷兰语单词的不同含义,要求模型综合信息来识别正确的单词。人类在 TSW-NL 上的表现范围为 49.5% 至 61.0%,而得分最高的开放权重模型仅达到 39.3%。相比之下,GPT-4.1 等闭源模型得分为 59.2%,而 GPT-5.6 Sol 通过高级推理达到了 88.8%。 AI

影响 凸显了对更多特定语言基准的需求,并揭示了开放权重模型在非英语任务中的当前局限性。

排序理由 该集群描述了一篇介绍用于评估语言模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的荷兰语单词谜题基准凸显了大型语言模型的局限性

本文如何被排名

Signal score
24 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群描述了一篇介绍用于评估语言模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Rik van Noord, Maurice Voors ·

    共享词汇:评估语言模型在荷兰语单词谜题上的表现

    arXiv:2611.22935v1 Announce Type: new Abstract: Many LLM benchmarks for languages other than English are translated, multiple-choice, or difficult to score automatically. We introduce The Shared Word (TSW-NL), a Dutch benchmark built around four core principles: it is language-sp…