Asktopus

RAG 聊天机器人置信度分数未能可靠地指示答案的可回答性

最近对检索增强生成 (RAG) 聊天机器人的分析显示，依赖检索置信度分数来确定何时转交人工或承认无知是一种不可靠的策略。一项使用 RAG 系统、OpenAI 的 text-embedding-3-small 模型和 Qdrant 作为向量数据库的实验表明，可回答问题和不可回答问题之间的相似度分数存在显著重叠。即使选择了合适的阈值，系统也经常无法正确识别可回答的问题，导致不必要的人工转交或给出薄弱、捏造的答案。