ArabCulture-Dialogue

新数据集对阿拉伯语对话中的LLM进行文化推理基准测试

研究人员开发了一个名为ArabCulture-Dialogue的新数据集，以解决缺乏丰富的文化对话数据来评估阿拉伯语大型语言模型（LLM）的问题。该数据集涵盖了13个阿拉伯语国家，包括现代标准阿拉伯语（MSA）和不同日常生活主题的当地方言。使用该数据集进行的实验显示，在文化推理、翻译和生成等任务中，LLM在方言阿拉伯语上的表现明显不如MSA。