NaijaFacts

新基准显示 AI 模型缺乏非洲统计知识

一个名为 NaijaFacts 的新基准已被开发出来，用于评估 AI 模型对尼日利亚特定事实信息的理解能力，区分语言熟练程度和实际知识。该基准包括英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语的问题，以及英国和美国的类似问题。在八个领先的 AI 模型中，在尼日利亚事实上的表现明显低于在美国/英国事实上的表现，这表明存在显著的知识差距，而不是语言障碍。在所有测试的 54 个非洲国家中，这种在统计数据上表现不佳的趋势是一致的。