研究发现：人工智能基准测试覆盖的语言不到世界语言的3%

当前人工智能语言模型的基准测试严重低估了世界语言多样性，最广泛的基准测试仅覆盖了约7000种现存语言中的2.9%。即使是最全面的文本基准测试FLORES-200，也只包含200种语言，而像MMLU这样被广泛引用的基准测试则专注于单一语言——英语。这种有限的覆盖意味着，虽然模型可能在几十种语言的翻译能力上有所表现，但它们在推理、安全或指令遵循等复杂任务上的表现，在绝大多数世界语言中却很少得到评估。 AI

影响 凸显了人工智能发展中的一个关键差距，表明当前模型的能力对于世界上大多数语言社区来说，理解不足。

排序理由 对现有基准测试及其对世界语言覆盖情况的分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• Belebele
• Ethnologue
• FLORES-200
• Google Research
• MMLU
• Meta AI
• NLLB-200
• XTREME

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →