SPARSEUP

SPARSEUP训练方法将稀疏检索模型推向新的基准高点

研究人员开发了SPARSEUP，一种用于学习稀疏检索模型的新训练方法，可提高其效率和有效性。该方法通过优化logit分布和引入每位置扇出控制来应对这些模型的训练挑战。此外，还采用词汇合并策略来删除冗余条目，从而实现更精简的编码器。当应用于LateOn骨干网络时，SPARSEUP在BEIR-13基准测试中，在1.5亿参数以下的稀疏编码器中取得了56.4的平均nDCG@10的最新成果。