RedQA

新的RARE框架改进了冗余文档语料库的RAG评估

研究人员开发了RARE，一个新颖的框架，旨在更准确地评估检索增强生成（RAG）系统，特别是在高度相似和冗余文档的领域。传统基准测试常常无法捕捉到这些系统在金融、法律和专利分析等现实世界场景中因信息重叠而导致的性能下降。RARE通过将文档分解为原子事实以精确跟踪冗余，并采用CRRF增强的数据生成方法来提高基准测试的可靠性来解决这个问题。在专业语料库上的初步应用揭示了检索器性能中先前未被发现的显著鲁棒性差距。