Splade
PulseAugur coverage of Splade — every cluster mentioning Splade across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
SPLADE模型“奇特的权重”被分析以提高可解释性
研究人员对学习型稀疏检索模型SPLADE中的“奇特权重”进行了系统性研究。这些权重将重要性分配给看似与输入语义无关的扩展术语，可能会限制模型的解释性。研究发现，更大的词汇量与这些奇特标记的更高出现频率相关，而更严格的稀疏正则化器会减少它们的出现。研究表明，这些权重主要用于领域内的有效性，而不是领域外的泛化。
-
Expanded-SPLADE模型在检索微调中显示出局限性
本文研究了不同预训练数据集和方法对神经信息检索Expanded-SPLADE (ESPLADE) 模型性能的影响。研究发现，在通用语料库上以更高学习率预训练的模型，即使掩码语言模型准确率较低，也能获得更好的检索效果。此外，研究表明重复使用通用预训练数据集并未显著提高检索效果，并在高度剪枝的设置中强调了检索成本与效果之间的权衡。
-
Towards Universal Tabular Embeddings: A Benchmark Across Data Tasks
Researchers have developed two new frameworks for improving tabular data processing. One, called "Improving Robustness of Tabular Retrieval via Representational Stability," addresses the issue of serialization sensitivi…
-
从 Token 到概念：利用 SAE 实现 SPLADE
研究人员开发了一种名为 SAE-SPLADE 的新模型，该模型用稀疏自动编码器（SAE）学习到的语义概念的潜在空间取代了像 SPLADE 这样的稀疏信息检索（IR）模型的传统词汇骨干。这种方法旨在克服多义性、同义性和多语言/多模态应用的局限性。实验表明，SAE-SPLADE 在检索性能上与传统 SPLADE 相当，同时提供了更高的效率。