实体
BEIR-13
BEIR-13
PulseAugur coverage of BEIR-13 — every cluster mentioning BEIR-13 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SPARSEUP训练方法将稀疏检索模型推向新的基准高点
研究人员开发了SPARSEUP，一种用于学习稀疏检索模型的新训练方法，可提高其效率和有效性。该方法通过优化logit分布和引入每位置扇出控制来应对这些模型的训练挑战。此外，还采用词汇合并策略来删除冗余条目，从而实现更精简的编码器。当应用于LateOn骨干网络时，SPARSEUP在BEIR-13基准测试中，在1.5亿参数以下的稀疏编码器中取得了56.4的平均nDCG@10的最新成果。
-
旧版 BERT 模型在稀疏检索任务中表现优于其较新版本
近期研究表明，在稀疏检索任务中，旧版 BERT 模型（特别是 BERT-base）的表现优于 ModernBERT 等较新编码器。这种现象归因于“词汇表差距”，即 ModernBERT 更大、区分大小写的词元集导致词汇匹配效果不如 BERT-base 更小、不区分大小写的词汇表。然而，后续研究提出了解决此词汇表差距的方案，使 ModernBERT 能够在稀疏检索任务中取得最先进的成果。