fiqh

新的IslamicMMLU基准评估LLM在古兰经、圣训和教法方面的能力

研究人员开发了IslamicMMLU，这是一个旨在评估大型语言模型在三个核心伊斯兰知识领域（古兰经、圣训和教法）表现的新基准。该基准包含超过10,000个选择题，并用于评估26个LLM，准确率得分范围从39.8%到93.8%。值得注意的是，Gemini 3 Flash取得了最高的平均准确率，而特定阿拉伯语的模型表现参差不齐，且普遍不如前沿模型。该基准还包括一项检测与不同伊斯兰教法学派相关偏见的任务。