MS MARCO
PulseAugur coverage of MS MARCO — every cluster mentioning MS MARCO across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的NHNM方法增强了指令遵循检索模型
研究人员开发了一种名为自然硬负例挖掘（NHNM）的新方法，以改进指令遵循信息检索（IFIR）。该技术将原始正文档重新用作自然指令硬负例，从而创建了一个更有效的训练数据集。当应用于MS MARCO数据集时，NHNM生成了NHNM-MARCO，包含近7000个实例。在该数据集上训练的模型在指令遵循任务上表现强劲，甚至在某些情况下超越了更大的模型。
-
新研究探索LLM与稀疏检索系统的集成
两篇新研究论文探讨了改进大型语言模型（LLM）与稀疏检索系统集成的方法。第一篇论文《通过自适应稀疏监督使LLM与稀疏检索对齐》提出了一个框架，该框架使用LLM生成的稀疏表示来提高检索效率和效果，与MS MARCO等数据集上的现有方法相比，在索引存储和查询延迟方面均有显著降低。第二篇论文《XViewRank：具有重叠条件的得分融合，用于LLM增强的稀疏检索》介绍了一种轻量级的检索端方法，该方法有条件地融合了LLM生成的多个查询视图的结果…
-
Qwen3-0.6B 模型通过数据整理和模型融合在 MS MARCO 排行榜上达到 SOTA
研究人员已经证明，轻量级的 Qwen3-0.6B 模型可以通过以数据为中心的策略而非架构更改，在 MS MARCO 基准测试中实现具有竞争力的段落排名性能。其成功的关键在于语料库定向预训练、严格的数据整理、硬负例挖掘以及训练-推理分布对齐等技术。该研究特别强调了“模型融合”（一种权重合并技术）在显著提升性能的同时保持推理效率方面的有效性。
-
新AI方法实现可扩展嵌入模型适应，Google发布开源三模态模型
研究人员开发了SYNTRA，一种用于合成检索训练数据的新颖方法，该方法能够以最少的人工干预跨各种领域和任务适应嵌入模型。这个自改进框架使用对试用输出的反馈来迭代地优化合成指令，仅需要一个无标签语料库和少量相关的查询-文档对。在24个数据集上的实验证明了SYNTRA的有效性，改进了广泛使用的嵌入模型，并在MS MARCO等大型数据集上随着训练数据的扩展显示出持续的性能提升。另外，Google发布了EmbeddingGemma 2，一个开…
-
新方法可恢复因文档向量压缩而损失的检索质量
研究人员开发了一种方法来提高后期交互模型中压缩文档向量的质量。通过学习全局线性校正，该方法可以在不重新训练编码器或重新压缩文档的情况下恢复因激进压缩而损失的检索质量。该方法使用 ColBERTv2 和 Jina v4 在 MS MARCO 和 BEIR 基准测试上进行了评估，并使用 ColPali2 在 ViDoRe v3 视觉文档检索任务上进行了评估。校正在各种压缩方法和数据集上都显示出检索质量的显著提高。
-
新方法大幅降低了学习到的稀疏检索索引的内存占用
研究人员开发了新方法，可在不影响检索效率的情况下，显著降低学习到的稀疏检索索引的内存需求。所提出的技术包括在倒排索引中用文档中心点替换每块摘要，以及压缩前向索引中的组件和值。这些进展已集成到 KANNOLO 中并进行了 MS MARCO 评估，与现有方法相比，显示出高达 5.3 倍的速度提升和 3 倍的内存使用量减少。
-
新研究重新评估生成式检索与密集检索方法 · 跟踪 5 个来源
研究人员正在探索用于推荐和问答等任务的生成式检索 (GR) 和密集检索 (DR) 的新方法。一项研究发现，虽然 GR 在识别最佳相关项目方面表现出色，但 DR 在精确目标召回方面表现更好。研究表明，将静态项目值纳入 DR 可以扭转 GR 的领先优势，即使是较小的密集编码器在电子商务相关性判断方面也能优于大型 SID-LLM。另一篇论文提出了一种用于 GR 的比特因子标识符设计，可以在无需重新训练的情况下提高对未见文档的适应性，显著提高…
-
新方法优化了基于LLM的检索模型的效率
研究人员开发了一种新方法来优化神经稀疏检索模型的稀疏性，该模型利用大型语言模型（LLM）进行语义术语扩展。该方法结合了可学习软Top-K和逐项阈值等自适应策略，以及FLOPs正则化，以减小文档和查询向量的长度。使用Lion-SP模型在MS MARCO和BEIR数据集上的实验表明，在保持高相关性的同时，检索延迟和存储成本得到了显著改善。
-
DIY DSSM 通过翻译表改进搜索
一位开发者创建了一个“穷人版”的深度结构语义模型（DSSM），该模型使用基于计数的翻译表来增强全文搜索功能。这种方法通过将文档单元与顶级查询单元相关联来丰富倒排索引，从而有效地提高了基线 BM25 的性能。该实现可作为 Hugging Face 模型存储库使用，旨在用于个人搜索引擎项目。
-
新的俄罗斯套娃哈希表示提高了RAG检索效率
研究人员开发了俄罗斯套娃哈希表示（MHR），这是一种用于检索增强生成（RAG）系统中紧凑语义检索的新颖方法。MHR通过一个将全宽度训练与前缀组织分开的两阶段过程来解决存储大型向量索引的挑战。这使得在各种字节预算下都能进行高效检索，而无需重新编码整个语料库，并在MS MARCO和BEIR等数据集上显示出改进的性能。
-
新的“Embedding Surgery”技术增强了密集检索系统
研究人员开发了一种名为“embedding surgery”的新技术，以提高密集检索系统的性能。该方法允许在查询时对文档嵌入进行局部、最小的更新，并由各种形式的反馈指导。该方法被表述为一个凸优化问题，以强制执行排序约束，同时最小化对嵌入的更改。在多个基准测试上的实验表明，即使存在噪声反馈，排序指标也得到了显著改进，并且这些更新可以高效地应用，而无需进行昂贵的索引重建。
-
新的TRIS防御系统对抗RAG模型的知识投毒
研究人员开发了TRIS（Tri-Layer Retrieval Integrity Sieve，三层检索完整性筛查器），以对抗检索增强生成（RAG）系统中的知识投毒。该中间件防御系统通过采用跨嵌入空间聚类、结构过滤和LLM一致性验证来净化检索到的证据。TRIS显著降低了包括黑盒和白盒投毒方法在内的各种攻击的成功率，同时恢复了RAG模型的干净准确性。
-
监督微调对大型语言模型指令敏感性的影响因模型规模而异
一篇新发表在arXiv上的研究调查了监督微调（SFT）如何影响大型语言模型的指令敏感性。研究人员发现，SFT在Qwen3（1.7B和4B参数）等较小模型中会持续降低指令敏感性，从而在不同的指令表述下都能提高性能。然而，对于Qwen3-8B和Gemma-2-9B等较大的模型，SFT对敏感性的影响不太明显，并且可能有所不同，一些模型显示出持续的方向性对比，而另一些则不然。研究还强调，评估方法的选择，例如自由生成与强制选择，可能导致关于模型…
-
新的土耳其 LLM MoganBert-TR 使用 CLM-to-MLM 课程训练
研究人员开发了 MoganBert-TR，一个新的土耳其编码器基础模型，以及配套的嵌入模型 MoganBert-Embed。MoganBert-TR 使用新颖的 CLM-to-MLM 课程，在过滤后的土耳其语语料库上从头开始训练，与传统的 MLM 方法相比，在检索任务上表现出显著的改进。该模型在 TrGLUE 和 TabiBench 等基准测试中取得了最先进的成果，而 MoganBert-Embed 在嵌入性能方面表现出色，尽管规模较…
-
新的 arXiv 论文探讨了密集检索中的隐私、效率和大语言模型集成
四篇新的 arXiv 论文探讨了密集检索的进展，密集检索是大语言模型在信息检索任务中的关键组成部分。第一篇论文介绍了一种使用学习到的深度哈希进行隐私保护的方法，以有效地过滤候选文档，在保持检索质量的同时降低计算成本。另一篇论文提出了 AnchorQE，一种无需训练的方法，通过优化生成的查询扩展与原始查询的集成方式来改进密集检索。第三篇论文 LLM-QL，通过将查询似然最大化作为辅助任务来利用大语言模型，以增强检索器的性能。最后，Ada…
-
向量数据库准入控制应对工作负载漂移下的检索热点
研究人员开发了一种新的向量数据库准入控制机制，以减轻检索热点（单个文档主导搜索结果）的影响。该系统维护一组哨兵查询，确保文档仅在与这些哨兵的相似度低于预定阈值时才被接纳。研究表明，虽然这种方法会产生辅助索引的维护成本，但即使在工作负载漂移下也能有效控制文档的暴露度，这在真实数据集上得到了验证，并已在PostgreSQL/pgvector中实现。
-
新研究探讨静态剪枝和基于LLM的查询扩展在检索系统中的应用
两篇新研究论文探讨了改进信息检索系统的方法。第一篇论文《稀疏检索机制下的静态剪枝》研究了静态剪枝技术如何在不同检索引擎中应用，发现索引端剪枝能持续降低延迟和索引大小，而查询剪枝常被现代系统内化。第二篇论文《Dense Expands, Sparse Anchors》介绍了DESA，一种通道非对称查询扩展方法，它使用LLM生成互补的段落，提高了检索效果并降低了混合检索系统的访问深度。
-
七种向量数据库性能基准测试
一篇新的研究论文对包括 FAISS、Qdrant、Milvus、Weaviate、Chroma、pgvector 和 LanceDB 在内的七种主流向量数据库系统进行了全面的实证评估。该研究分析了六个不同数据集上的超过 400 万个向量，衡量了检索质量、查询延迟、吞吐量和资源利用率。主要发现表明，FAISS 提供了最高的单节点吞吐量，Weaviate 提供了出色的召回率，Qdrant 在完整数据库中提供了最佳延迟，而 LanceDB …
-
新研究评估用于科学问答的RAG流程 · 已追踪2个来源
研究人员推出了SciRet，一项使用CORD-19数据集研究用于科学问答的检索增强生成（RAG）的研究。该研究评估了一个固定的RAG流程在三种不同语料库规模下的表现，发现混合检索方法比仅稀疏或仅密集的方法更具鲁棒性。然而，在MS MARCO上训练的交叉编码器重排序器在科学语料库上降低了精度，表明可能存在领域不匹配问题。使用RAGAS测量的生成答案的忠实度随着语料库规模的增大而提高。
-
PLAID-PRF 使用质心感知伪相关反馈增强密集检索
研究人员推出了一种用于增强 ColBERT 等多向量密集检索模型的新方法 PLAID-PRF。该技术利用 PLAID 框架内的质心类令牌来执行伪相关反馈 (PRF)，根据检索到的顶部结果有效地重构查询向量。PLAID-PRF 利用内部 PLAID 质心向量，保持了较低的计算成本，在 MS MARCO 和 BEIR 等各种基准测试中显示出检索效率的显著提高。