Product Quantization for Nearest Neighbor Search
PulseAugur coverage of Product Quantization for Nearest Neighbor Search — every cluster mentioning Product Quantization for Nearest Neighbor Search across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究探索生成式检索中的语义ID空间和解码 · 跟踪5个来源
研究人员正在探索生成式信息检索（GIR）的新方法，这是一种将文档检索从传统的“检索-排序”方法转变为序列到序列生成范式的技术。两篇论文研究了GIR中文档标识符（DocIDs）的设计和有效性。一项研究解构了范式、标识符类型和解码策略对检索性能的影响，发现仅解码就显著影响结果，并且随机标识符可以保留比更复杂标识符多得多的性能。另一篇论文系统地研究了语义ID空间，提出了一个统一的产品量化（PQ）和残差量化（RQ）框架，并引入了无训练指标来评…
-
新的俄罗斯套娃哈希表示提高了RAG检索效率
研究人员开发了俄罗斯套娃哈希表示（MHR），这是一种用于检索增强生成（RAG）系统中紧凑语义检索的新颖方法。MHR通过一个将全宽度训练与前缀组织分开的两阶段过程来解决存储大型向量索引的挑战。这使得在各种字节预算下都能进行高效检索，而无需重新编码整个语料库，并在MS MARCO和BEIR等数据集上显示出改进的性能。
-
PCST 方法将 LLaMA-7B 模型压缩至 2.05 GiB，但质量有所下降
研究人员开发了 PCST（Product Code Structured Transform）方法，能够在无需重新训练的情况下将 LLaMA-7B 模型压缩至 2.05 GiB。尽管 PCST 实现了比 Q3_K_M 模型更小的文件大小，但在质量和运行时性能方面表现不佳。该项目探索了超过 60 种压缩技术，发现降低权重的均方误差（MSE）并未持续提高最终的 token 准确率。这项工作表明，未来的压缩努力应侧重于网络范围的表示和误差整…
-
新研究可根据嵌入统计数据预测ANN搜索性能
一篇新研究论文介绍了一种根据嵌入统计数据预测近似最近邻（ANN）搜索索引性能的方法。该论文证明，在索引构建之前，就可以利用原始嵌入的无标签统计数据准确预测索引行为（如召回率）。该方法旨在优化索引选择、定价和召回率预测，以应对不断变化的语料库，而无需为每个语料库使用转换机制。
-
AI 使用乘积量化压缩向量以实现高效存储
AI 应用经常处理大量向量集合，这会消耗大量内存。乘积量化 (PQ) 等技术用于压缩这些向量，从而提高存储和搜索效率。PQ 的工作原理是将向量分成更小的部分，为每个部分学习代表性模式，然后用引用这些学习模式的 ID 替换原始子向量。这种压缩极大地减少了每个向量所需的存储空间，使系统能够管理数百万个嵌入而不会过度消耗内存，这对于客户支持 RAG 系统等应用至关重要。
-
新研究提出嵌入量化的可变比特分配
一篇新研究论文提出了一种用于嵌入量化的可变比特分配框架，打破了均匀比特分配的限制。该方法将嵌入划分为多个桶（buckets），并进行非均匀分配存储，在具有Matryoshka特性的嵌入的召回率方面显示出显著的改进。与均匀基线相比，可变分配策略在低比特情况下表现更优，对于乘积量化（Product Quantization）最高可提升8%，对于标量量化（Scalar Quantization）最高可提升18%。
-
乘积量化在向量数据库中的应用详解
乘积量化（Product Quantization, PQ）是一种压缩技术，可显著减少大型向量数据集的内存使用量，比存储全精度向量更有效。该方法涉及将每个向量划分为更小的块，然后对这些块应用k-means聚类。向量的压缩表示通过存储每个块最接近的聚类质心的ID来形成，而不是存储完整的向量数据。
-
TurboVec 为企业 RAG 引入成本效益高的私有向量检索
研究人员开发了 TurboVec，这是一个开源向量索引，专为企业检索增强生成（RAG）系统的成本效益高和私有检索而设计。TurboVec 利用 TurboQuant，一种新颖的无码本量化器，可避免暴露语料库统计信息，从而增强多租户环境中的隐私性。与 FAISS Product Quantization 和 HNSW 等现有方法相比，该方法在召回率方面表现更优，内存使用量显著降低，并且在 Snowpark Container Servi…
-
新的攻击方法通过深度特征扰动针对机器人定位系统
研究人员开发了一种新的方法，利用深度特征扰动来攻击机器人定位系统。他们的框架采用轻量级乘积量化网络（LPQN），生成微妙但有效的对抗性查询，误导系统的检索过程。这可能导致机器人定位错误，从而在关键应用中导致导航错误或不安全交互。实验证实了该方法显著降低了性能，并突显了实际机器人环境中的漏洞。
-
Dask 将产品量化和倒排索引并行化以处理大规模数据
研究人员开发了一种使用 Dask 对大规模近似最近邻 (ANN) 搜索进行产品量化 (PQ) 和倒排索引并行化的方法。该方法旨在降低与高维数据聚类相关的显著计算成本。通过在 Python 中分而治之处理大型数据集，该方法可以在不牺牲准确性的情况下合并结果，从而使通常用于中等规模数据的资源也能进行大规模 ANN 搜索。