JQaRA

RAG 系统尽管忠实度得分，仍有 1/3 的答案失败

一位开发者评估了他们的本地检索增强生成 (RAG) 系统，发现 0.67 的忠实度得分掩盖了一个重大问题：尽管答案基于检索到的上下文，但三分之一的答案在事实上是不正确的。添加一个重排器提高了准确性，但未能解决低上下文召回率的核心问题，该问题被确定为主要瓶颈。开发者得出结论，忠实度本身是一个不足够的指标，主张结合答案正确性和上下文召回率进行评估，以确保系统准确性。