NERExact

新的CACD方法通过减少冗余和加速检索来增强RAG系统

研究人员开发了一种名为交叉注意力校准去重（CACD）的新方法，以改进检索增强生成（RAG）系统。CACD解决了RAG系统中冗余块的问题，这些问题会膨胀向量数据库并减慢检索速度。与依赖池化向量和相似度分数的简单方法不同，CACD使用交叉编码器来保留令牌级细节，并使用新信息分数来评估块的新颖性。在SQuAD 1.1数据集上的实验表明，CACD有效地去除了近10%的冗余块，并且比现有方法处理数据的速度明显更快。