DAR-MGSM

新基准测试阿拉伯方言中的AI数学推理能力

研究人员推出了DAR-MGSM，这是首个旨在评估方言阿拉伯语数学推理能力的基准。该基准包含五种主要阿拉伯方言和现代标准阿拉伯语的数学应用题，并提供仅翻译版和翻译并本地化版。对十一个以阿拉伯语为中心的多语言大型语言模型的评估显示，在本地化版本上的性能普遍下降，表明在文化接地适应方面存在挑战。进一步分析表明，即使整体准确性相似，本地化问题和翻译问题也常常触发不同的推理路径，这凸显了语言多样性和文化背景对数学推理的影响。