Splade
PulseAugur coverage of Splade — every cluster mentioning Splade across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
SPARSEUP训练方法将稀疏检索模型推向新的基准高点
研究人员开发了SPARSEUP,一种用于学习稀疏检索模型的新训练方法,可提高其效率和有效性。该方法通过优化logit分布和引入每位置扇出控制来应对这些模型的训练挑战。此外,还采用词汇合并策略来删除冗余条目,从而实现更精简的编码器。当应用于LateOn骨干网络时,SPARSEUP在BEIR-13基准测试中,在1.5亿参数以下的稀疏编码器中取得了56.4的平均nDCG@10的最新成果。
-
小型SPLADE模型在RAG中优于大型嵌入模型
一个名为SPLADE的新型小型模型在检索增强生成(RAG)系统中,表现优于大型8B嵌入模型。由用户开发的SPLADE模型,特别是KURE-sparse-nano,所需的VRAM和内存显著减少,使其适用于资源有限的本地设置,如旧款PC或MacBook。实验表明,SPLADE在准确性和效率方面均优于Qwen3-Embedding-0.6B等密集嵌入模型,甚至超越了混合检索方法。
-
研究论文揭示混合式AI检索方法中的“融合税”
一篇题为“融合税”的新研究论文分析了混合检索方法的缺点,该方法结合了稀疏检索和密集检索技术。研究发现,虽然混合检索通常显示出总体收益,但在相当一部分单独查询中,它可能导致相关文档排名降低。这种“融合税”在各种模型大小和类型(包括SPLADE)中都持续存在,并且当一个检索器明显优于另一个检索器时尤为明显。
-
新的GRIP系统挑战基于图的稀疏检索学习
研究人员开发了一种新的基于图的近似最近邻(ANN)系统,用于学习稀疏检索(LSR),名为GRIP。该系统挑战了倒排索引在LSR方面优于基于图的索引的普遍观点。GRIP采用了基于术语的入口点种子选择、通过稀疏草图进行的近似路由以及基于稀疏分区的图构建等技术来提高性能。在MS MARCO v2基准测试中,GRIP在LSR领先的倒排索引Seismic的基础上,延迟提高了2.5倍,同时保持了95%的recall@10。
-
新研究探索LLM与稀疏检索系统的集成
两篇新研究论文探讨了改进大型语言模型(LLM)与稀疏检索系统集成的方法。第一篇论文《通过自适应稀疏监督使LLM与稀疏检索对齐》提出了一个框架,该框架使用LLM生成的稀疏表示来提高检索效率和效果,与MS MARCO等数据集上的现有方法相比,在索引存储和查询延迟方面均有显著降低。第二篇论文《XViewRank:具有重叠条件的得分融合,用于LLM增强的稀疏检索》介绍了一种轻量级的检索端方法,该方法有条件地融合了LLM生成的多个查询视图的结果…
-
新研究探讨对话式搜索的忠实查询解析
一篇来自arXiv的新论文探讨了对话式搜索系统中查询保真度与检索广度之间的平衡。研究人员在iKAT SCAI 2026环境下,使用行为自适应助手中的BM25和SPLADE检索,评估了五种查询生成配置。研究结果表明,虽然将最小保真度解析器与学习重写器相结合可以提高检索分数,但未必能带来更高的对话满意度,这凸显了将查询解释与检索扩展分开的必要性。
-
RAGFlip论文衡量检索器升级中的负面翻转
一项新的研究论文RAGFlip引入了一种评估检索器升级的方法,重点关注查询级负面翻转。当新的检索器未能找到先前检索器(如BM25)成功识别的相关段落时,就会发生这种翻转。研究发现,所有评估的替换检索器(BGE-large、E5-large-v2和SPLADE)都提高了整体覆盖率,但在各种数据集和深度上仍然表现出负面翻转。这些回归尤其在较小的检索深度下更为显著,突显了在检索器评估中,除了聚合指标外,还需要查询级兼容性。
-
阿威罗大学团队详解 BioASQ 14B 生物医学问答系统
来自阿威罗大学的 BIT.UA 团队详细介绍了他们参加 BioASQ 14B 挑战赛的情况,重点关注生物医学问题解答。他们实现了一个模块化系统,重构了检索和生成组件。在文档检索方面,他们集成了 PostgreSQL 的 pg_textsearch 和 Qdrant 进行高效索引和 GPU 加速的相似性搜索,并探索了查询扩展技术。他们的答案生成阶段采用了 LLM-as-a-judge 框架和代理共识机制来生成一致性答案。
-
新研究探讨静态剪枝和基于LLM的查询扩展在检索系统中的应用
两篇新研究论文探讨了改进信息检索系统的方法。第一篇论文《稀疏检索机制下的静态剪枝》研究了静态剪枝技术如何在不同检索引擎中应用,发现索引端剪枝能持续降低延迟和索引大小,而查询剪枝常被现代系统内化。第二篇论文《Dense Expands, Sparse Anchors》介绍了DESA,一种通道非对称查询扩展方法,它使用LLM生成互补的段落,提高了检索效果并降低了混合检索系统的访问深度。
-
BM25、密集检索和 SPLADE:选择 RAG 检索方法
一篇技术文章比较了检索增强生成(RAG)项目的三种主要检索方法:BM25、密集检索和 SPLADE。BM25 是一种基于 CPU 的快速关键词匹配算法,而密集检索使用嵌入模型来捕捉语义含义,但需要更多资源。SPLADE 提供了一个折衷方案,使用稀疏向量和基于 Transformer 的查询扩展来有效处理同义词。作者建议从 BM25 作为基线开始,在存在语义差距时采用密集检索,并在采用完全混合方法之前考虑 SPLADE。
-
新的SIFT系统实现了自改进文档分类
一种名为SIFT(自改进、冻门训练)的新的自改进分类系统已被开发出来,以应对企业环境中动态文档分类的挑战。SIFT利用一个成本效益高的流水线,结合了SPLADE稀疏编码器和LightGBM头部,并将低置信度的预测升级给LLM裁判进行标注。这个过程创建了一个不断增长的标注语料库,随着时间的推移提高了准确性,而无需大量的预先标注。通过一个两部分的推广门来维护安全性,该门检查关键标签回归,并使用一个固定的黄金回归集来防止自主再训练导致性能下降。
-
新理论解释晚期交互检索模型,引入 Signed MaxSim
研究人员从理论上量化了晚期交互检索模型的表征能力,特别是那些使用 MaxSim 相似度函数的模型。研究表明,MaxSim 可以精确复制非负稀疏向量之间的内积,并引入了 Signed MaxSim,这是一个能够复制任何实值内积的扩展。这些进展为晚期交互模型的强大实证性能提供了理论基础,并显示了它们在检索任务中超越标准检索方法的潜力,尤其是在涉及否定等复杂查询的任务中。
-
GPUSparse系统利用GPU并行化加速学习稀疏检索
研究人员开发了GPUSparse,一个旨在通过利用GPU并行化来加速学习稀疏检索模型的新系统。该系统解决了当前稀疏检索方法中存在的CPU瓶颈问题,该问题阻碍了实时性能。GPUSparse引入了GPU并行倒排索引、批处理的scatter-add评分算法以及融合的Triton内核,在保持高检索质量的同时实现了显著的加速。
-
HAKARI-Bench 为检索模型提供轻量级评估 · 跟踪 2 个来源
研究人员推出了 HAKARI-Bench,这是一个轻量级基准,旨在简化检索增强生成和语义搜索的检索架构和效率设置的评估。这个新基准将现有的庞大检索套件重构为更小的数据集,能够对各种检索家族及其效率变体(如降维和量化)进行快速、与模型无关的比较。HAKARI-Bench 表现出高保真度,以高于 0.97 的 Spearman 相关性重现了大型基准的排名,使其成为开发过程中模型选择和回归检测的宝贵工具。
-
新技术改进了具有更大编码器的SPLADE检索模型
研究人员发现,在使用更大的、更强大的预训练编码器时,SPLADE(一种神经稀疏检索模型)会出现性能下降的问题。这个问题被称为MLM头中的“尺度不匹配”,可能导致训练不稳定甚至崩溃。研究人员提出了一种简单的、零成本的调整方法,即在训练前重新调整MLM头的投影,这显著提高了ModernBERT和Ettin等模型的稳定性和检索效果。这种修正使得这些更大的骨干模型能够匹配甚至超越经典的BERT-SPLADE基线的性能。
-
Spring AI 和 Pgvector 在 PostgreSQL 中实现原生混合搜索
本文详细介绍了如何使用 pgvector 扩展和 Spring AI 在 PostgreSQL 中实现原生混合搜索。它主张将搜索功能整合到单个数据库中,从而无需单独的 Elasticsearch 集群以及相关的同步问题。该方法涉及在 PostgreSQL 中存储密集和稀疏向量嵌入,并直接在数据库中使用倒数排名融合 (RRF) 执行混合查询。
-
新的 SAE-SPLADE 模型通过语义概念增强信息检索
研究人员开发了一种名为 SAE-SPLADE 的新模型,该模型通过稀疏自编码器学习到的语义概念的潜在空间来替换传统的词汇骨干,从而增强信息检索。该方法旨在克服处理多义性、同义性和多语言/多模态应用的局限性。实验表明,SAE-SPLADE 在检索性能上可与现有的 SPLADE 模型相媲美,同时提供了更高的效率。
-
新方法从密集检索模型中提取适用于BM25的稀疏特征
研究人员引入了一种名为Latent Terms的新方法,该方法表明密集检索模型可以分解为适用于传统BM25评分的稀疏特征。该技术应用于使用稀疏自编码器的冻结检索器,在无需检索特定调整或监督的情况下,提取了具有齐夫分布统计特征的潜在词汇。Latent Terms在LIMIT基准测试上,其性能与现有的单向量评分方法和SPLADE变体相当或更优,并显著优于其基础模型。
-
SPLADE模型“奇特的权重”被分析以提高可解释性
研究人员对学习型稀疏检索模型SPLADE中的“奇特权重”进行了系统性研究。这些权重将重要性分配给看似与输入语义无关的扩展术语,可能会限制模型的解释性。研究发现,更大的词汇量与这些奇特标记的更高出现频率相关,而更严格的稀疏正则化器会减少它们的出现。研究表明,这些权重主要用于领域内的有效性,而不是领域外的泛化。
-
Expanded-SPLADE模型在检索微调中显示出局限性
本文研究了不同预训练数据集和方法对神经信息检索Expanded-SPLADE (ESPLADE) 模型性能的影响。研究发现,在通用语料库上以更高学习率预训练的模型,即使掩码语言模型准确率较低,也能获得更好的检索效果。此外,研究表明重复使用通用预训练数据集并未显著提高检索效果,并在高度剪枝的设置中强调了检索成本与效果之间的权衡。