HETERQA

新的HETERQA基准测试挑战跨多种数据源的AI记录检索

研究人员推出了HETERQA，这是一个新的基准测试，旨在评估从多个、多样化的数据源提取信息的记录检索系统。该基准测试包含857个问答对，利用了基于五种不同数据类型（包括关系表、文本、图像、空间数据库和知识图谱）的Yelp业务记录。初步评估显示，虽然混合检索方法在Recall@10上表现最佳，Self-RAG在MRR@10上领先，但所有测试系统都未能完全满足基准测试的难度，表明检索技术在未来有很大的进步空间。