研究人员推出了DAR-MGSM,这是首个旨在评估方言阿拉伯语数学推理能力的基准。该基准包含五种主要阿拉伯方言和现代标准阿拉伯语的数学应用题,并提供仅翻译版和翻译并本地化版。对十一个以阿拉伯语为中心的多语言大型语言模型的评估显示,在本地化版本上的性能普遍下降,表明在文化接地适应方面存在挑战。进一步分析表明,即使整体准确性相似,本地化问题和翻译问题也常常触发不同的推理路径,这凸显了语言多样性和文化背景对数学推理的影响。 AI
影响 该基准有望促进为低资源语言开发更具文化和语言意识的AI模型。
排序理由 该集群包含一篇介绍AI研究新基准的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →