PulseAugur
中
实时 14:21:02
English(EN) Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues

新数据集对阿拉伯语对话中的LLM进行文化推理基准测试

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一个名为ArabCulture-Dialogue的新数据集，以解决缺乏丰富的文化对话数据来评估阿拉伯语大型语言模型（LLM）的问题。该数据集涵盖了13个阿拉伯语国家，包括现代标准阿拉伯语（MSA）和不同日常生活主题的当地方言。使用该数据集进行的实验显示，在文化推理、翻译和生成等任务中，LLM在方言阿拉伯语上的表现明显不如MSA。 AI

影响 凸显了LLM在不同阿拉伯语方言中的性能差异，表明需要开发更本地化、更具文化意识的模型。

排序理由 学术论文，介绍了一个新的数据集和LLM的基准测试任务。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新数据集对阿拉伯语对话中的LLM进行文化推理基准测试

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Muhammad Dehan Al Kautsar, Saeed Almheiri, Momina Ahsan, Bilal Elbouardi, Younes Samih, Sarfraz Ahmad, Amr Keleg, Omar El Herraoui, Kareem Elzeky, Abed Alhakim Freihat, Mohamed Anwar, Zhuohan Xie, Junhong Liang, Mohammad Rustom Al Nasar, Preslav Nakov, Fa ·

    标准和方言阿拉伯语对话中大型语言模型的文化基准测试

    arXiv:2605.00119v1 Announce Type: new Abstract: There is a significant gap in evaluating cultural reasoning in LLMs using conversational datasets that capture culturally rich and dialectal contexts. Most Arabic benchmarks focus on short text snippets in Modern Standard Arabic (MS…

  2. arXiv cs.CL TIER_1 English(EN) · Fajri Koto ·

    标准和方言阿拉伯语对话中大型语言模型的文化基准测试

    There is a significant gap in evaluating cultural reasoning in LLMs using conversational datasets that capture culturally rich and dialectal contexts. Most Arabic benchmarks focus on short text snippets in Modern Standard Arabic (MSA), overlooking the cultural nuances that natura…

相关实体

相关话题