PulseAugur
中
实时 11:22:35
实体 TREC DL

TREC DL

PulseAugur coverage of TREC DL — every cluster mentioning TREC DL across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 9
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 9
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 9 条
  1. TOOL · CL_366556 ·

    可执行程序取代LLM裁判,实现可扩展的相关性标注

    研究人员开发了ExecJudges,一种使用LLM生成可执行程序进行信息检索相关性标注的新颖方法。该方法旨在用更具可扩展性、可解释性和可复现性的基于程序的方法来替代昂贵且不透明的LLM裁判。ExecJudges在与人类评估者的_一致性_方面,表现出与LLM裁判相当或更优的水平,且每个主题的成本极低。

  2. RESEARCH · CL_336217 ·

    DecisionRank模型通过更快、蒸馏后的决策模型实现SOTA检索

    研究人员开发了DecisionRank,一种新颖的决策模型,通过使用策略内蒸馏从更大的生成语言模型转移知识,显著提高了检索性能。该方法训练一个更小的决策模型直接预测分数,绕过了自回归解码的延迟。DecisionRank在TREC DL、BEIR和BRIGHT等基准测试中取得了最先进的成果,在准确性上超越了其生成教师模型,同时速度也大大加快。

  3. RESEARCH · CL_321920 ·

    研究发现:System One 模型并非比微调替代品更优的重排器

    一篇新发表在arXiv上的研究论文表明,“System One”模型(也称为决策模型)在作为重排器方面,并不比专门为重排任务微调的模型更优越。该研究在多个数据集上测试了各种Qwen骨干模型,发现重排器微调的性能始终优于决策微调,尤其是在参数量高达90亿的模型上。研究表明,虽然决策模型在某些场景下具有校准优势,但这并不能弥补其整体排名性能较差的不足。

  4. RESEARCH · CL_269373 ·

    LLM偏好生成与校准研究显示模型不一致性及改进方法

    近期研究探讨了大型语言模型(LLM)生成偏好的可靠性和校准性。一项研究发现,虽然LLM在偏好上表现出自洽性,但在不同模型和规模之间存在显著的不一致性,表明提示词措辞的影响不如模型选择大。另一篇论文证明,较小的、冻结的模型可以生成比自身生成更有效的“拒绝”样本用于偏好蒸馏,从而降低计算成本。第三项研究引入了基于评分卡的偏好(Rubric-Calibrated Preferences, RCP),以提高LLM在信息检索中判断的质量和跨查询…

  5. TOOL · CL_258079 ·

    新的QueryRoute基准测试评估LLM查询改写策略

    研究人员推出了QueryRoute,这是一个旨在评估基于LLM的信息检索的查询改写选择策略的新基准测试。该基准测试通过提供一套标准化的产物,解决了为给定查询、领域、检索器和模型选择最佳查询改写所面临的挑战。QueryRoute包含3,757个查询、11个候选系统、五个改写器骨干和跨多个数据集的三个检索器,产生了超过60万次检索结果。对各种选择方法的初步基准测试显示,与固定改写器相比,存在显著的改进潜力,尽管当前方法仅捕捉到这一潜力的很…

  6. TOOL · CL_258080 ·

    EviQE方法通过选择相关文档来改进LLM查询扩展

    研究人员开发了EviQE,一种用于改进基于大型语言模型(LLM)的查询扩展的新颖方法,该方法侧重于为模型选择要处理的相关文档。这种方法将证据选择与生成阶段分开,将不同的重构器视为互补的检索视角。在TREC DL和BEIR基准测试中的实验表明,EviQE,特别是使用LLM-Score的基于相关性的证据选择,显著优于直接重构和单源扩展方法。研究发现,汇集来自多个重构器的候选者可以增加相关文档的覆盖范围,并且在选择了强条件证据后,后续的检索…

  7. TOOL · CL_235137 ·

    DoPR 框架通过压缩文档前缀提高 LLM 重排效率

    研究人员开发了 DoPR,一个旨在提高大型语言模型 (LLM) 重排效率的新型框架。DoPR 通过将离线文档准备与在线重排分离来解决冗余文档处理的问题。它通过创建可复用、压缩的文档前缀状态来实现这一点,这些状态是预先计算并存储的。在在线重排期间,LLM 只需要处理查询和一个评分令牌,并利用存储的前缀来获取文档信息,从而显著降低了计算成本和延迟。

  8. RESEARCH · CL_218084 ·

    新的 arXiv 论文探讨了密集检索中的隐私、效率和大语言模型集成

    四篇新的 arXiv 论文探讨了密集检索的进展,密集检索是大语言模型在信息检索任务中的关键组成部分。第一篇论文介绍了一种使用学习到的深度哈希进行隐私保护的方法,以有效地过滤候选文档,在保持检索质量的同时降低计算成本。另一篇论文提出了 AnchorQE,一种无需训练的方法,通过优化生成的查询扩展与原始查询的集成方式来改进密集检索。第三篇论文 LLM-QL,通过将查询似然最大化作为辅助任务来利用大语言模型,以增强检索器的性能。最后,Ada…

  9. RESEARCH · CL_81956 ·

    STORM框架增强了检索的词汇查询扩展

    研究人员开发了STORM,一个用于词汇查询扩展的自监督框架,以改进信息检索。该方法使用奖励引导的束搜索来优化令牌生成,使其在检索任务中更有效。STORM提供了一种具有竞争力的、轻量级的替代密集神经网络检索系统的方法,在各种基准和语言上都取得了强劲的性能。