研究人员推出了“共享词”(The Shared Word, TSW-NL),一个旨在评估语言模型在荷兰语单词谜题上表现的新基准。与许多现有的非英语语言基准不同,TSW-NL 是特定语言的、开放词汇的、人工策划的,并且是确定性评分的。该基准包含 222 个实例,每个实例提供三个线索来描述一个荷兰语单词的不同含义,要求模型综合信息来识别正确的单词。人类在 TSW-NL 上的表现范围为 49.5% 至 61.0%,而得分最高的开放权重模型仅达到 39.3%。相比之下,GPT-4.1 等闭源模型得分为 59.2%,而 GPT-5.6 Sol 通过高级推理达到了 88.8%。 AI
影响 凸显了对更多特定语言基准的需求,并揭示了开放权重模型在非英语任务中的当前局限性。
排序理由 该集群描述了一篇介绍用于评估语言模型基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →