Xtreme

研究发现：人工智能基准测试覆盖的语言不到世界语言的3%

当前人工智能语言模型的基准测试严重低估了世界语言多样性，最广泛的基准测试仅覆盖了约7000种现存语言中的2.9%。即使是最全面的文本基准测试FLORES-200，也只包含200种语言，而像MMLU这样被广泛引用的基准测试则专注于单一语言——英语。这种有限的覆盖意味着，虽然模型可能在几十种语言的翻译能力上有所表现，但它们在推理、安全或指令遵循等复杂任务上的表现，在绝大多数世界语言中却很少得到评估。