PulseAugur
实时 11:13:24

新的HETERQA基准测试挑战跨多种数据源的AI记录检索

研究人员推出了HETERQA,这是一个新的基准测试,旨在评估从多个、多样化的数据源提取信息的记录检索系统。该基准测试包含857个问答对,利用了基于五种不同数据类型(包括关系表、文本、图像、空间数据库和知识图谱)的Yelp业务记录。初步评估显示,虽然混合检索方法在Recall@10上表现最佳,Self-RAG在MRR@10上领先,但所有测试系统都未能完全满足基准测试的难度,表明检索技术在未来有很大的进步空间。 AI

影响 该基准测试将推动对能够处理复杂、多源数据的更先进检索系统的研究。

排序理由 该集群描述了一个新的AI研究学术基准测试。

在 arXiv cs.IR (Information Retrieval) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的HETERQA基准测试挑战跨多种数据源的AI记录检索

报道来源 [1]

  1. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Yixiang Fang ·

    HETERQA: Benchmarking Record Retrieval over Multiple Heterogeneous Sources

    In emerging systems (e.g., social media and e-commerce platforms), data records are often drawn from heterogeneous sources, such as relational tables, text documents, image repositories, spatial databases, and knowledge graphs. Accordingly, retrieving target records for question-…