Rajeel Ahmad Ansari

新研究将模型不确定性与 RAG 幻觉风险联系起来

一篇新的 arXiv 论文探讨了检索增强生成 (RAG) 模型中不确定性与幻觉风险之间的关系。研究表明，不确定性可以有效衡量幻觉风险，但前提是检索到的证据充分约束了模型的答案。当检索覆盖率差时，模型可能会自信地生成不受支持的声明。该研究在 HotpotQA 和 SQuAD 数据集上测试了四个指令调优模型，发现困惑度在检测不受支持的编辑方面取得了很高的 AUROC 分数，而结合了不确定性和语义漂移的分数则提高了校准性。