实体
IslamicMMLU
IslamicMMLU
PulseAugur coverage of IslamicMMLU — every cluster mentioning IslamicMMLU across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新AI助手Ansari以伊斯兰文本为基础回答问题
研究人员开发了Ansari，一个旨在回答伊斯兰问题的AI助手，解决了通用语言模型固有的事实捏造和价值观不一致的风险。该系统采用检索增强方法，仅从《古兰经》和圣训集等经过认证的伊斯兰文本中提取答案，并提供引文以供验证。Ansari已部署到包括WhatsApp在内的多个平台，自2023年6月以来已进行超过14万次对话，在伊斯兰基准测试中表现强劲，并为价值观敏感的AI部署提供了经验教训。
-
新的IslamicMMLU基准评估LLM在古兰经、圣训和教法方面的能力
研究人员开发了IslamicMMLU，这是一个旨在评估大型语言模型在三个核心伊斯兰知识领域（古兰经、圣训和教法）表现的新基准。该基准包含超过10,000个选择题，并用于评估26个LLM，准确率得分范围从39.8%到93.8%。值得注意的是，Gemini 3 Flash取得了最高的平均准确率，而特定阿拉伯语的模型表现参差不齐，且普遍不如前沿模型。该基准还包括一项检测与不同伊斯兰教法学派相关偏见的任务。