RAGFlip

RAGFlip论文衡量检索器升级中的负面翻转

一项新的研究论文RAGFlip引入了一种评估检索器升级的方法，重点关注查询级负面翻转。当新的检索器未能找到先前检索器（如BM25）成功识别的相关段落时，就会发生这种翻转。研究发现，所有评估的替换检索器（BGE-large、E5-large-v2和SPLADE）都提高了整体覆盖率，但在各种数据集和深度上仍然表现出负面翻转。这些回归尤其在较小的检索深度下更为显著，突显了在检索器评估中，除了聚合指标外，还需要查询级兼容性。