Hierarchical Navigable Small World graphs
PulseAugur coverage of Hierarchical Navigable Small World graphs — every cluster mentioning Hierarchical Navigable Small World graphs across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新研究揭示了RAG防御系统在抵御协调投毒攻击方面的基本局限性
研究人员展示了当前针对检索增强生成（RAG）中使用的向量检索系统的协调投毒攻击的防御措施存在根本性局限。这些旨在过滤恶意文档的准入时防御措施，可以通过对手注入少量看似无害的文档来规避。这些文档结合起来，可以有效地劫持目标查询，迫使RAG系统输出攻击者捏造的信息。研究表明，这些攻击并非理论上的，在真实世界的管道中成功率高达88%，并且现有的分类器无法区分恶意和合法的利基上传。
-
向量数据库准入控制应对工作负载漂移下的检索热点
研究人员开发了一种新的向量数据库准入控制机制，以减轻检索热点（单个文档主导搜索结果）的影响。该系统维护一组哨兵查询，确保文档仅在与这些哨兵的相似度低于预定阈值时才被接纳。研究表明，虽然这种方法会产生辅助索引的维护成本，但即使在工作负载漂移下也能有效控制文档的暴露度，这在真实数据集上得到了验证，并已在PostgreSQL/pgvector中实现。
-
Cerebras 知识库通过 MCP 服务器和改进的检索功能不断发展
这一系列博文详细介绍了为 Cerebras 开发知识库系统，重点关注其检索和代理功能。最初，该系统使用混合检索方法和 LLM 重排序器，实现了高召回率但难以精确排序。随后的博文引入了 LLM 蒸馏和“突发”技术来优化语料库，提高了深层检索的召回率。最终的迭代专注于创建一个 MCP（元认知处理）服务器，该服务器公开无 LLM 的检索工具，允许 Claude Code 等外部代理进行规划和合成，从而降低成本并提高确定性。
-
检索系统的元数据设计优先考虑数据可恢复性和查询效率
为检索系统设计元数据需要仔细考虑数据可恢复性和查询性能。字段应根据其在摄取后是否无法恢复、重新计算成本高昂（例如，模型生成的摘要）或重新计算成本低廉进行分类。存储无法恢复的字段（例如，数据来源或解析器版本）至关重要，因为它们之后无法获得。为了提高查询效率，语言或租户 ID 等过滤字段应直接与数据块关联，而不是需要连接到单独的文档表。
-
RAG 系统通过混合搜索和重排在向量搜索之外得到增强
本文深入探讨了超越简单向量搜索来增强检索增强生成（RAG）系统。文章解释说，虽然嵌入对于语义相似性至关重要，但它们本身是不够的。文章提倡一种混合方法，将语义搜索与 BM25 等词汇搜索方法相结合，并纳入重排以优化结果。诸如查询优化、元数据过滤和上下文压缩等技术被强调为构建健壮的 RAG 管道的关键，这些管道可以通过提高准确性和效率来可靠地处理实际查询。
-
PostgreSQL 向量搜索在过滤时面临性能悬崖
一篇技术深度文章解释了在使用 pgvector 扩展将过滤与向量搜索结合时 PostgreSQL 中出现的性能问题。问题源于 HNSW 等近似最近邻 (ANN) 索引无法有效地与标准过滤器组合，导致查询规划器做出次优选择。这可能导致查询缓慢或结果不正确、被截断，尤其是在使用高选择性过滤器时。较新版本的 pgvector (0.8.0+) 提供了迭代扫描来缓解此问题，但计算成本仍然可能很高。
-
GPU 加速将 HNSW 向量搜索时间缩短 57.7%
研究人员优化了分层可导航小世界 (HNSW) 算法，该算法是许多向量数据库和 RAG 系统的核心组件，通过 CUDA 实现 GPU 加速。通过并行化距离计算而非图遍历本身，他们在不影响召回率的情况下将查询时间缩短了 57.7%。该项目为大学竞赛而开发，在特定参数下还实现了 84% 的原始搜索时间缩减和 33% 的更快的索引构建速度，所有代码均已在 GitHub 上公开。
-
开发者在 Kubernetes 上构建完全本地化的 RAG 系统，无需 API 密钥
一位开发者详细介绍了如何使用 Kubernetes 构建完全本地化的检索增强生成（RAG）系统，无需依赖云服务和 API 密钥。该系统利用带有 pgvector 扩展的 PostgreSQL 进行向量搜索，通过 llama-cpp-python 在 CPU 上运行的 Qwen 1.5B 模型提供 LLM 功能，并使用 FastAPI 作为应用层。这种方法可以在不产生云成本或需要敏感 API 凭证的情况下实现“与您的文档聊天”功能，非常…
-
新算法Refnd可防止关系型数据泄露
研究人员推出Refnd，这是一种旨在防止关系型数据泄露的新算法，尤其是在生化应用中。Refnd正式化了关系生成过程（RGP），以解释数据中关系结构如何出现，并使用分层可导航小世界（HNSW）图进行高效计算。该方法旨在通过避免信息泄露来提供更现实的性能估算，并可作为开源Python包使用。
-
开发人员发现 RAG 评估因非确定性检索而存在缺陷
一位开发人员在使用检索增强生成（RAG）评估流程时遇到了问题，最初怀疑是语言模型性能下降。然而，经过仔细检查，问题被追溯到非确定性检索过程。近似最近邻（ANN）搜索中的平局处理、混合搜索方法中的并行处理以及数据摄取过程中分块的微小差异等因素，都会导致检索结果不一致。提出的解决方案是通过为评估实施确定性设置来解耦评估检索与生产检索，例如固定特定参数并为 ANN 搜索使用固定种子。
-
新的DaoQL系统分离LLM知识以改进推理
研究人员开发了DaoQL，一个新颖的系统，将确定性知识从大型语言模型（LLMs）分离到一个显式的多模态数据库中。这种方法旨在减轻幻觉等风险，并提高高精度领域的解释性和可修改性。该系统集成了图、列、向量和全文引擎，在基准测试中表现出有希望的性能，并与GPT-4o等LLMs结合时显著提高了反事实推理能力。
-
Ferrovec：微小的 Rust HNSW 索引可在浏览器中实现语义搜索
一个名为 Ferrovec 的新 Rust 库已被开发出来，可在浏览器标签页中直接进行语义搜索。与依赖服务器端基础设施的现有解决方案不同，Ferrovec 可编译为 WebAssembly，使其能够离线运行，并且数据不会离开用户的计算机。该库被设计得非常轻量级，依赖项极少，适合浏览器环境，因为大型、面向服务器的 HNSW 实现无法在此环境中运行。
-
TurboVec 为企业 RAG 引入成本效益高的私有向量检索
研究人员开发了 TurboVec，这是一个开源向量索引，专为企业检索增强生成（RAG）系统的成本效益高和私有检索而设计。TurboVec 利用 TurboQuant，一种新颖的无码本量化器，可避免暴露语料库统计信息，从而增强多租户环境中的隐私性。与 FAISS Product Quantization 和 HNSW 等现有方法相比，该方法在召回率方面表现更优，内存使用量显著降低，并且在 Snowpark Container Servi…
-
RAG 从朴素文档分块演进到结构化知识基础设施
检索增强生成 (RAG) 正在超越其最初简单的文档分块方法。当处理超过 50,000 份文档时，‘朴素 RAG’的局限性变得显而易见。RAG 的未来在于将知识组织成结构化、链接化和版本化的基础设施，而不是不透明的“大杂烩”，从而为 LLM 提供更强大、更值得信赖的上下文。
-
OpenSearch 生产 RAG 系统的优化
本文详细介绍了在生产 RAG 系统中使用 OpenSearch 的优化方法，重点关注改进语义检索步骤。文章解释了近似最近邻 (ANN) 搜索，特别是使用分层可导航小世界 (HNSW) 图的工作原理，以平衡召回率和延迟。文章区分了构建图的索引时优化和影响响应速度的查询时优化。
-
新的SHEAF方法预测ANN搜索中的查询难度
研究人员开发了一种名为SHEAF（答案集通量自剖面硬度估计）的新方法，用于预测基于图的近似最近邻（ANN）搜索中查询的难度。与之前的局部内在维度（LID）等静态度量不同，SHEAF通过观察查询的答案集在两个浅探针宽度之间如何变化来估计难度。该方法在SIFT1M等数据集上进行了评估，并在GPU和CPU上实现，与五个基线度量相比，显示出更高的预测精度，仅需两次浅探针搜索，且无需查询时真实值。
-
理解 HNSW：为什么向量搜索返回的是垃圾
本文深入探讨了分层可导航小世界（HNSW）图结构，这是现代向量数据库的关键组成部分，能够实现高效的近似最近邻（ANN）搜索。作者强调，许多构建检索增强生成（RAG）系统的开发人员忽略了 HNSW，导致语义相似的文档未能被检索到，搜索结果不理想。本文旨在通过解释 HNSW 的功能、将其与暴力搜索进行对比，并演示错误的配置如何导致召回率崩溃，来揭开 HNSW 的神秘面纱，最终为调整这些系统提供实用见解。
-
新框架保证 HNSW 搜索算法的准确性
研究人员开发了一个名为“Certify-then-Rectify”的新框架，以提高广泛用于信息检索的分层可导航小世界（HNSW）图的准确性。该方法首先使用统计认证器评估标准 HNSW 搜索的质量。如果质量较低，则会升级到精确恢复算法，利用图跨度和极值理论来限制搜索空间。评估表明，这种分层方法在保持 HNSW 速度的同时，保证了精确搜索的正确性。
-
新框架保证HNSW图的准确性，开销极小
研究人员开发了一个新的“认证后修正”（Certify-then-Rectify）框架，以提高分层可导航小世界（HNSW）图的准确性。HNSW图因其速度而被广泛使用，但缺乏理论正确性保证。该框架使用统计认证器评估HNSW搜索结果的质量，并在需要时升级到精确恢复算法。通过将HNSW图重新解释为几何跨度图并应用极值理论，该系统可以在数学上界定到真正最近邻的距离，从而实现HNSW的速度和精确搜索的最坏情况正确性。
-
新的RACORN-1算法提升过滤向量搜索性能
研究人员推出RACORN-1，这是ACORN-1算法的一个增强版本，旨在提高过滤向量搜索（FVS）的性能。FVS结合了向量相似性和元数据过滤，这对于RAG和检索系统至关重要。RACORN-1通过实现自适应搜索回退（ASF）和自适应精确回退（AEF）来解决ACORN-1在低选择性下的召回率崩溃问题。这些方法使该算法能够在显著降低延迟的同时保持高召回率，在各种数据集上均优于传统的HNSW方法。