Text Retrieval Conference
PulseAugur coverage of Text Retrieval Conference — every cluster mentioning Text Retrieval Conference across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
可执行程序取代LLM裁判,实现可扩展的相关性标注
研究人员开发了ExecJudges,一种使用LLM生成可执行程序进行信息检索相关性标注的新颖方法。该方法旨在用更具可扩展性、可解释性和可复现性的基于程序的方法来替代昂贵且不透明的LLM裁判。ExecJudges在与人类评估者的_一致性_方面,表现出与LLM裁判相当或更优的水平,且每个主题的成本极低。
-
新的TReC指标通过状态变化一致性评估围棋AI模型
研究人员引入了一种名为Transition Representation Consistency (TReC)的新指标来评估指令驱动的围棋模型。TReC衡量模型预测的走法和专家走法这两种走法如何改变棋盘状态嵌入。使用冻结的KataGo网络的实验表明,TReC值在不同层之间存在显著差异,并且其与传统坐标距离测量的相关性很弱。
-
新研究审计开放式 Jev 模型以实现检索独立性
一篇新的 arXiv 论文研究了开放式 Jev 模型在请求独立性方面的表现,特别考察了问题、证据和候选资格的变化如何影响检索结果。研究发现,请求扩展可能导致模型判断和选择行为发生显著变化,尤其是在 TREC 检索任务中。通过字段掩码追踪这些变化与评分提示中特定模式字段的关系,揭示了模型行为如何受到提示序列化和计算精度的影响。
-
新的SAFE-QE方法解决了LLM查询扩展中的幻觉术语问题
研究人员开发了一种名为SAFE-QE的新方法,以解决大型语言模型(LLM)在查询扩展过程中产生的幻觉术语问题。这种无需训练、检索器无关的方法可以识别并降低因占主导地位的幻觉关联而非实际语料库支持而出现的术语的权重。通过平衡一致性和广度,SAFE-QE旨在通过减少噪声而不牺牲排名质量来改进信息检索,这在TREC和BEIR基准集合上得到了证明。
-
JevForest 提出预算特征获取新方法
研究人员开发了 JevForest,这是一种新颖的特征获取策略,专为具有有限观测预算的预测任务设计。该策略聚合自举树的提案,并根据全局训练信息增益对其进行加权,然后使用共享的掩码分类器进行预测。在 AG News 和 TREC 数据集上的初步实验显示结果喜忧参半,JevForest 在 AG News 上的表现优于静态增益排序和随机排序,但在 TREC 上表现不佳。该研究还探讨了批量查询与顺序查询,发现批量查询可以在较低的成本和延迟下…
-
LLM自改进循环因选择噪声而遭受“赢者诅咒”
一篇新的arXiv论文探讨了自改进大型语言模型(LLM)中“赢者诅咒”现象。该研究使用Qwen模型重写自己的指令,发现初始指令之外的大多数提议的更改都是有害的。研究强调了当LLM在小型、重复使用的数据集上评估自身改进时,选择噪声和锁定问题会导致报告的收益相对于实际的保留准确率膨胀。
-
新的SanSi模型引入“系统1.5思维”以实现循环决策
研究人员推出了一种新颖的循环类型决策模型SanSi,专为“系统1.5思维”设计,旨在弥合快速、单次通过的系统1思维与完整文本生成之间的差距。SanSi允许预训练语言模型在做出决策前通过多个循环递归地优化其隐藏状态,从而在计算预算方面提供灵活性。该方法在大规模测试集上达到了72.0%的准确率,优于非循环模型,并在策略优化任务中展现出改进的性能。
-
TREC 2025 产品搜索赛道公布新的推荐数据集
TREC 2025 产品搜索和推荐赛道在最新的一篇概述论文中进行了详细介绍,该论文在前几届(2023年和2024年)的基础上进行了扩展。该赛道通过提供高质量的数据集来评估检索质量,专注于改进电子商务搜索和推荐系统。2025年的赛道包括两项任务:查询扩展和一项新颖的相关产品推荐任务,该任务对产品关系进行标注,以区分互补产品和替代产品。预期生成的数据将增强对话式产品发现体验。
-
新的ERGO方法通过从错误中学习来优化文本分类
研究人员开发了一种名为错误引导优化(ERGO)的新方法,用于文本分类任务。ERGO通过反馈循环迭代诊断数据批次的分类失败,并生成有针对性的决策规则。这种方法在特定类型的任务上实现了高精度,尤其是在混淆标签对之间错误集中的任务上,在几次迭代内就在TREC和CLINC150等基准测试中表现出色。该研究还提供了一个框架,帮助实践者根据任务特性选择最合适的优化范式,并强调不同的方法在不同的任务结构上表现优异。
-
小型种群 ES 微调 LLM 在奖励调整下显示出潜力
一篇新的研究论文探讨了进化策略(ES)在微调大型语言模型(LLM)方面的有效性,特别是在使用二元奖励时。研究发现,在二元奖励训练中,ES 对大型种群规模的感知需求可能源于奖励设计和归一化,而非内在限制。通过禁用 z-score 优势归一化,研究人员证明了具有小型种群规模(N=2)的 ES 可以在 GSM8K 和 TREC 等基准测试上显著提高性能,甚至优于那些崩溃或性能下降的归一化变体。这表明,通过仔细的奖励设计和归一化,可以用最少的…
-
新的几何方法增强了稀疏表示分类的稳定性
研究人员开发了一种新的稀疏表示分类(SRC)方法,通过关注学习表示的几何形状来确保稳定的残差推理。他们的工作将训练与推理分开,仅将SRC用作固定的测试时规则。他们通过残差裕度形式化了残差排序稳定性,并识别出可能降低此裕度的几何障碍,如跨度重叠。为了解决这些问题,他们提出了几何整形目标,鼓励类内自表达并抑制类间重构,并在图像、文本和EEG数据集上进行了评估。
-
DoGMaTiQ 管道自动化生成用于报告评估的问答片段
研究人员开发了 DoGMaTiQ,这是一个新管道,旨在自动生成用于评估长篇报告的问答(QA)片段,特别是那些由检索增强生成(RAG)系统生成的报告。这一过程解决了手动整理这些评估片段的重大挑战,尤其是在跨语言环境中,这种挑战尤为困难。DoGMaTiQ 系统分三个阶段进行:生成基于文档的片段、对释义进行聚类以及根据质量标准进行子选择。在 TREC 共享任务上的实验表明,DoGMaTiQ 生成的 QA 片段与人类判断具有良好的相关性,并且…
-
用于可扩展患者-试验匹配的轻量级检索增强生成和基于大型语言模型的建模
研究人员开发了新的基准和框架,以评估和改进大型语言模型(LLM)在临床环境中的性能。PhysicianBench 为真实世界电子健康记录(EHR)任务上的 LLM 代理提供了全面的评估,显示出当前成功率低于 50% 的局限性。此外,ReMedi 提供了一个框架,通过生成改进的理由-答案对进行微调,以增强从 EHR 中预测临床结果。另一种方法引入了一种轻量级的检索增强生成方法,用于可扩展的患者-试验匹配,以降低计算成本实现了与端到端 L…