Ethayarajh

嵌入各向异性破坏 RAG 安全阈值

一位开发者在使用检索增强生成（RAG）系统时遇到了问题，之前用作安全措施的余弦相似度阈值 0.8 在更换嵌入模型后开始拒绝所有响应，这改变了相似度分数的尺度。确定的根本原因是嵌入各向异性，即大多数模型将向量分组到一个狭窄的锥体内，导致不相关文本的相似度分数被人为地提高。开发者建议使用标记数据校准阈值，在模型更改时重新校准，或使用相对信号和重排器而不是原始余弦相似度。