TREC DL
PulseAugur coverage of TREC DL — every cluster mentioning TREC DL across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法校准LLM判断，以改进文档重排评估
研究人员开发了一种名为Rubric-Calibrated Preferences (RCP) 的新方法，以改进文档重排系统的评估。传统的nDCG等指标在处理人类提供的相关性标签的局限性方面存在困难。RCP结合了LLM在查询内的相对判断和来自评分标准的绝对标准，利用项目反应理论在不同查询之间创建统一的量表。这种称为RCP-nDCG的方法比标准方法生成更准确、更具可比性的相关性概率，显示出与人类判断的相关性有所提高，并能更好地区分不同的重排系统。
-
新的QueryRoute基准测试评估LLM查询改写策略
研究人员推出了QueryRoute，这是一个旨在评估基于LLM的信息检索的查询改写选择策略的新基准测试。该基准测试通过提供一套标准化的产物，解决了为给定查询、领域、检索器和模型选择最佳查询改写所面临的挑战。QueryRoute包含3,757个查询、11个候选系统、五个改写器骨干和跨多个数据集的三个检索器，产生了超过60万次检索结果。对各种选择方法的初步基准测试显示，与固定改写器相比，存在显著的改进潜力，尽管当前方法仅捕捉到这一潜力的很…
-
EviQE方法通过选择相关文档来改进LLM查询扩展
研究人员开发了EviQE，一种用于改进基于大型语言模型（LLM）的查询扩展的新颖方法，该方法侧重于为模型选择要处理的相关文档。这种方法将证据选择与生成阶段分开，将不同的重构器视为互补的检索视角。在TREC DL和BEIR基准测试中的实验表明，EviQE，特别是使用LLM-Score的基于相关性的证据选择，显著优于直接重构和单源扩展方法。研究发现，汇集来自多个重构器的候选者可以增加相关文档的覆盖范围，并且在选择了强条件证据后，后续的检索…
-
DoPR 框架通过压缩文档前缀提高 LLM 重排效率
研究人员开发了 DoPR，一个旨在提高大型语言模型 (LLM) 重排效率的新型框架。DoPR 通过将离线文档准备与在线重排分离来解决冗余文档处理的问题。它通过创建可复用、压缩的文档前缀状态来实现这一点，这些状态是预先计算并存储的。在在线重排期间，LLM 只需要处理查询和一个评分令牌，并利用存储的前缀来获取文档信息，从而显著降低了计算成本和延迟。
-
新的 arXiv 论文探讨了密集检索中的隐私、效率和大语言模型集成
四篇新的 arXiv 论文探讨了密集检索的进展，密集检索是大语言模型在信息检索任务中的关键组成部分。第一篇论文介绍了一种使用学习到的深度哈希进行隐私保护的方法，以有效地过滤候选文档，在保持检索质量的同时降低计算成本。另一篇论文提出了 AnchorQE，一种无需训练的方法，通过优化生成的查询扩展与原始查询的集成方式来改进密集检索。第三篇论文 LLM-QL，通过将查询似然最大化作为辅助任务来利用大语言模型，以增强检索器的性能。最后，Ada…
-
STORM框架增强了检索的词汇查询扩展
研究人员开发了STORM，一个用于词汇查询扩展的自监督框架，以改进信息检索。该方法使用奖励引导的束搜索来优化令牌生成，使其在检索任务中更有效。STORM提供了一种具有竞争力的、轻量级的替代密集神经网络检索系统的方法，在各种基准和语言上都取得了强劲的性能。