研究人员发现，在使用更大的、更强大的预训练编码器时，SPLADE（一种神经稀疏检索模型）会出现性能下降的问题。这个问题被称为MLM头中的“尺度不匹配”，可能导致训练不稳定甚至崩溃。研究人员提出了一种简单的、零成本的调整方法，即在训练前重新调整MLM头的投影，这显著提高了ModernBERT和Ettin等模型的稳定性和检索效果。这种修正使得这些更大的骨干模型能够匹配甚至超越经典的BERT-SPLADE基线的性能。 AI
影响 这项研究提供了一种通过更好地校准更大的预训练模型来提高神经稀疏检索系统性能的方法，有望带来更有效的信息检索。
排序理由 该集群包含一篇详细介绍改进神经稀疏检索模型的新技术的论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.18811v1 Announce Type: cross Abstract: Learned sparse retrieval (LSR) models such as SPLADE have traditionally used BERT-style masked language models as backbone encoders. A natural expectation is that replacing BERT with stronger pretrained encoders should improve ret…
Learned sparse retrieval (LSR) models such as SPLADE have traditionally used BERT-style masked language models as backbone encoders. A natural expectation is that replacing BERT with stronger pretrained encoders should improve retrieval effectiveness. However, we find that under …