BEIR benchmark
PulseAugur coverage of BEIR benchmark — every cluster mentioning BEIR benchmark across labs, papers, and developer communities, ranked by signal.
-
新框架弥合词汇差距，提升 AI 稀疏检索性能
研究人员发现，“词汇差距”是 ModernBERT 等高级基础模型在学习到的稀疏检索任务中表现不如旧模型的原因。这种差距的产生是因为现代分词器使用原始的、区分大小写的词汇表，将单个语义单元映射到冗余的表面形式，导致模型容量浪费在形态学噪声上。为了解决这个问题，提出了一个名为词汇迁移（VT）的新框架。VT 使用语义初始化和激活势能校准，将高级编码器迁移到对稀疏友好的、标准化的词汇表中，使 ModernBERT 等模型能够在 BEIR 基…
-
Apple ML Research 提出使用神经网络的摊销 MIPS
Apple Machine Learning Research 提出了一种新的最大内积搜索（MIPS）方法，称为摊销 MIPS。该方法利用神经网络，特别是 SupportNet 和 KeyNet，直接预测 MIPS 解决方案，从而降低了从固定键数据库中已知分布提取的查询的计算成本。在 BEIR 基准测试上的实验表明，在考虑计算工作量的情况下，这些学习模型可以显著提高 IVF 匹配率。
-
新的摊销MIPS方法使用神经网络加速搜索
研究人员开发了一种名为摊销最大内积搜索（MIPS）的新方法，该方法利用神经网络直接预测MIPS解决方案。该方法训练网络充当固定向量数据库的“支持函数”，从而能够更快地识别给定查询的最佳匹配向量。所提出的模型SupportNet和KeyNet在文档嵌入的BEIR基准测试中显示出效率的显著提高，在考虑计算工作量时优于传统方法。
-
新的检索方法用稀疏编码取代 K-means，实现更快、更准确的结果
研究人员推出了一种名为单阶段稀疏检索（SSR）的新方法，用于高效的多向量检索，该方法绕过了传统的 K-means 聚类。SSR 利用稀疏自编码器创建高维、稀疏的 token 嵌入表示，从而可以使用倒排索引代替压缩。这种方法显著减少了索引时间和检索延迟，同时提高了准确性，在 BEIR 基准测试中优于现有基线。