PulseAugur
中
实时 07:01:25
English(EN) They Know Where It Is, But Not What It Says: A Bilingual Hallucination Benchmark of Hadith Recall in Open LLMs

研究发现：开放式大语言模型无法准确回忆宗教文本

作者 PulseAugur 编辑部 · [1 个来源] ·

一项新的基准研究表明，当前开源大语言模型在回忆特定宗教文本（如圣训）方面并不可靠。该研究测试了包括Mistral-7B和Gemma3-4B在内的五种模型，涵盖了六部经典的逊尼派圣训集，生成了30,000条英语和阿拉伯语的回复。令人震惊的是，没有一个回复同时达到了高词汇和语义保真度，这意味着没有一个回复能提供与原文完全一致且可验证的匹配。阿拉伯语回复的表现比英语差，这表明缺乏检索增强（retrieval augmentation）的大语言模型可能对伊斯兰学术研究构成危险，不应依赖其参数记忆。 AI

影响 当前开源大语言模型在精确回忆宗教文本方面并不可靠，在高风险应用中需要检索增强生成。

排序理由 该集群包含一篇学术论文，详细介绍了评估大语言模型在特定任务上性能的新基准。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现：开放式大语言模型无法准确回忆宗教文本

本文如何被排名

Signal score
36 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇学术论文，详细介绍了评估大语言模型在特定任务上性能的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, safety
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Dayam Nadeem, Safdar Mustafa, Ameen Ur Rehman, Shahab Saquib Sohail, Mohammad Nadeem, Usman Naseem ·

    他们知道它在哪，但不知道它说了什么：关于大型语言模型回忆圣训的双语幻觉基准测试

    arXiv:2611.02587v1 Announce Type: new Abstract: Large language models are increasingly consulted for religious knowledge, including the recall of specific Hadith (recorded sayings and actions of the Prophet Muhammad, peace be upon him). Unlike open-ended generation, Hadith recall…

相关实体

相关话题