新的IslamicMMLU基准评估LLM在古兰经、圣训和教法方面的能力

研究人员开发了IslamicMMLU，这是一个旨在评估大型语言模型在三个核心伊斯兰知识领域（古兰经、圣训和教法）表现的新基准。该基准包含超过10,000个选择题，并用于评估26个LLM，准确率得分范围从39.8%到93.8%。值得注意的是，Gemini 3 Flash取得了最高的平均准确率，而特定阿拉伯语的模型表现参差不齐，且普遍不如前沿模型。该基准还包括一项检测与不同伊斯兰教法学派相关偏见的任务。 AI

影响 该基准将能够更精确地评估LLM在理解和回应伊斯兰查询方面的能力，可能有助于改进宗教和文化背景下的模型。

排序理由 该集群描述了一个用于评估LLM在特定知识领域能力的新的学术基准。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Ali S Abdelaal
• Arabic-specific models
• arXiv
• fiqh
• Gemini 3 Flash
• hadith
• Hugging Face
• IslamicMMLU
• Qur’an

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →