MLM-head

新技术改进了具有更大编码器的SPLADE检索模型

研究人员发现，在使用更大的、更强大的预训练编码器时，SPLADE（一种神经稀疏检索模型）会出现性能下降的问题。这个问题被称为MLM头中的“尺度不匹配”，可能导致训练不稳定甚至崩溃。研究人员提出了一种简单的、零成本的调整方法，即在训练前重新调整MLM头的投影，这显著提高了ModernBERT和Ettin等模型的稳定性和检索效果。这种修正使得这些更大的骨干模型能够匹配甚至超越经典的BERT-SPLADE基线的性能。