PulseAugur
中
实时 14:07:59
English(EN) The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

Expanded-SPLADE模型在检索微调中显示出局限性

作者 PulseAugur 编辑部 · [1 个来源] ·

本文研究了不同预训练数据集和方法对神经信息检索Expanded-SPLADE (ESPLADE) 模型性能的影响。研究发现，在通用语料库上以更高学习率预训练的模型，即使掩码语言模型准确率较低，也能获得更好的检索效果。此外，研究表明重复使用通用预训练数据集并未显著提高检索效果，并在高度剪枝的设置中强调了检索成本与效果之间的权衡。 AI

影响 为优化神经信息检索模型的预训练策略提供了见解，有望提高搜索引擎性能。

排序理由 这是一篇发表在arXiv上的研究论文，详细介绍了信息检索模型预训练方法的实验结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Expanded-SPLADE模型在检索微调中显示出局限性

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Hiun Kim, Tae Kwan Lee, Taeryun Won ·

    The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

    arXiv:2605.01407v1 Announce Type: cross Abstract: Masked Language Modeling (MLM) pre-training is one of the primary ways to initialize Neural Information Retrieval (IR) models prior to retrieval fine-tuning. However, studies show that MLM pre-trained models have limited readiness…

相关实体

相关话题