English(EN) Make your RAG say 'I don't know': a score threshold, measured

RAG 系统可使用分数阈值识别无法回答的查询

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-25 11:06

最近的一项分析探讨了使用检索结果上的简单分数阈值来确定检索增强生成（RAG）系统是否能根据其文档自信地回答查询的有效性。研究发现，对于使用 MiniLM-L6-v2 嵌入模型的 FastAPI 文档语料库，余弦相似度分数阈值 0.40 成功识别并拒绝了大约 30 个无法回答的问题中的 24 个，同时正确回答了 30 个可回答问题中的 29 个。虽然不相关的问题很容易被过滤掉，但由于分数重叠，接近领域的问题带来了挑战，这表明阈值是语料库和模型特定的，可能需要重新校准。研究还指出，与余弦相似度相比，传统的 BM25 检索作为守门员的效果较差。 AI

影响这项研究提供了一种实用的方法，通过减少在无法回答的查询上产生幻觉来提高 RAG 系统的可靠性。

排序理由研究论文，详细介绍了一种提高 RAG 系统准确性的方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 37 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 研究论文，详细介绍了一种提高 RAG 系统准确性的方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · RecallRun · 2026-10-25 11:06

让你的 RAG 回答“我不知道”：一个可衡量的分数阈值

<p>A RAG system always gets something back from the index. Ask it about cooking and it returns the five nearest chunks of API docs, and the LLM then tries to be helpful. So: can a simple score threshold on retrieval tell "the docs cover this" from "they don't"?</p> <p><strong>Sho…

本文如何被排名

报道来源 [1]

让你的 RAG 回答“我不知道”：一个可衡量的分数阈值

相关实体

相关话题