English(EN) Cosine Similarity Threshold 0.8: Embedding Anisotropy Broke My RAG

嵌入各向异性破坏 RAG 安全阈值

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-11 16:55

一位开发者在使用检索增强生成（RAG）系统时遇到了问题，之前用作安全措施的余弦相似度阈值 0.8 在更换嵌入模型后开始拒绝所有响应，这改变了相似度分数的尺度。确定的根本原因是嵌入各向异性，即大多数模型将向量分组到一个狭窄的锥体内，导致不相关文本的相似度分数被人为地提高。开发者建议使用标记数据校准阈值，在模型更改时重新校准，或使用相对信号和重排器而不是原始余弦相似度。 AI

影响强调了在更换嵌入模型时，仔细校准 RAG 系统中相似度阈值的必要性。

排序理由开发者分享了关于 RAG 系统问题的技术事后分析。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 3 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 开发者分享了关于 RAG 系统问题的技术事后分析。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · jidonglab · 2026-10-11 16:55

余弦相似度阈值 0.8：嵌入各向异性毁了我的 RAG

<p>My RAG bot had exactly one safety rule: if the best chunk scores below 0.8 cosine similarity, answer "I don't know." That cosine similarity threshold ran for months without complaint. Then I swapped the embedding model, redeployed, and the bot said "I don't know" to everything…

本文如何被排名

报道来源 [1]

余弦相似度阈值 0.8：嵌入各向异性毁了我的 RAG

相关实体

相关话题