Gold-NDCG

研究揭示文档检索系统在处理多部分证据覆盖方面存在困难

一篇新发表在arXiv上的研究调查了当前文档检索系统的局限性，特别是在处理需要从单个文档内不同页面获取证据的多部分请求时。该研究引入了“n-Clue”作为评估这一差距的测量工具，发现尽管系统能够定位相关信息，但它们常常无法识别出完整答案所需的所有必要证据。研究强调，即使使用更大的模型和混合方法，在找到任何相关的黄金标准信息与成功满足合取查询的所有条件之间仍然存在显著差异，这表明条件覆盖，而不仅仅是黄金发现，是主要的瓶颈。