TREC Deep Learning
PulseAugur coverage of TREC Deep Learning — every cluster mentioning TREC Deep Learning across labs, papers, and developer communities, ranked by signal.
-
新的“Embedding Surgery”技术增强了密集检索系统
研究人员开发了一种名为“embedding surgery”的新技术，以提高密集检索系统的性能。该方法允许在查询时对文档嵌入进行局部、最小的更新，并由各种形式的反馈指导。该方法被表述为一个凸优化问题，以强制执行排序约束，同时最小化对嵌入的更改。在多个基准测试上的实验表明，即使存在噪声反馈，排序指标也得到了显著改进，并且这些更新可以高效地应用，而无需进行昂贵的索引重建。
-
新的ADORE框架通过迭代反馈改进LLM查询扩展
研究人员推出了一种名为ADORE的迭代框架，旨在增强基于大型语言模型（LLM）的信息检索查询扩展。与可能导致检索漂移的生成驱动方法不同，ADORE使用检索结果作为后续扩展轮次的反馈。此迭代过程包括由LLM生成段落、检索器评估语料库响应以及相关性评估器根据原始查询判断检索到的文档。ADORE在包括TREC Deep Learning、BEIR和BRIGHT在内的多个基准测试中展示了显著的性能提升，优于BM25等传统方法和之前的查询扩展技术。
-
研究发现：大型语言模型（LLM）可以预测自身的排名表现
研究人员开发了让大型语言模型（LLM）在不使用外部工具的情况下预测自身排名表现的方法。该研究探讨了免训练和基于训练的方法，考察了样本排名中的自洽性以及直接语言化置信度。在TREC深度学习数据集上的实验表明，自洽性在性能上可与现有最先进方法相媲美，并且具有更好的校准性，而直接语言化置信度则倾向于过度自信。
-
LLM驱动的查询重构的复现性研究
两篇新研究论文探讨了大型语言模型（LLMs）在信息检索中的应用和效率。第一篇论文是一项复现性研究，评估了十种基于LLM的查询重构方法在各种检索范式和LLM规模下的表现，发现收益高度依赖于检索方法，并且更大的模型不一定表现更好。第二篇论文介绍了ResRank，一个统一的框架，它将段落压缩成单一的嵌入向量，用于高效的列表重排序，解决了将全文输入LLM相关的延迟瓶颈和质量下降问题。