Hugging Face的一篇新论文调查了检索增强生成(RAG)系统中引用的准确性,发现相当一部分声明被归因于参数记忆而非检索到的上下文。该研究采用反事实价值替换方法,将检索到的段落中的事实替换为虚假变体来测试模型的归因。结果显示,1.2%到15.7%的可引用声明源自模型的内部记忆,并且该比率随着模型大小的增加而增加。自然语言推理等标准验证方法被证明无效,其结果与随机无异。 AI
影响 突出了RAG系统中一个关键的缺陷,可能影响AI生成信息和引用的可靠性。
排序理由 该集群包含一篇学术论文,详细介绍了关于检索增强生成系统行为的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Hugging Face
- Parametric Memory
- Parametric Provenance in Retrieval-Augmented Generation
- retrieval-augmented generation
- textual entailment
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →