Vector Databases
PulseAugur coverage of Vector Databases — every cluster mentioning Vector Databases across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
Hystersis 为 AI 代理推出持久化内存基础设施
Hystersis 的开发者解释了超越简单上下文窗口或向量数据库的更好内存系统的关键需求。当前的 AI 代理在长期保留和巩固信息方面存在困难,导致“永久性短期记忆丧失”效应。Hystersis 旨在为 AI 代理提供一个基础层,用于管理、检索和演进知识,解决开发者目前必须为每个应用程序单独解决的基础设施问题。
-
LLM、MCP 和 RAG 领域指南面向 AI 工程师
这是一份面向大型语言模型 (LLM)、模型上下文协议 (MCP) 和检索增强生成 (RAG) 的综合领域指南。它专为需要生产环境实用、动手知识的 AI 工程、测试和运营领域的专业人士而设计。该指南涵盖了企业 AI 架构、提示工程、向量数据库、AI 测试、LLMOps 和安全等基本主题,并提供可操作的见解和问答环节以巩固理解。
-
新平台整合人工智能面试题
一个名为AI Interview Question的新平台已上线,旨在整合分散的资源,帮助开发者准备人工智能和LLM相关的职位面试。该平台提供跨越多个领域的结构化问题,包括AI工程、提示工程、检索增强生成(RAG)和AI代理。它旨在帮助候选人从理论知识过渡到实际应用,涵盖了超越传统机器学习的现代面试主题。
-
新框架解决了 RAG 系统中可靠性逐渐下降的问题
生产中的检索增强生成 (RAG) 系统通常会随着时间的推移而可靠性下降,这是由于渐进式变化而非单一的灾难性事件。这种侵蚀可能源于文档的演变、检索行为的变化、提示的修订以及过时的评估数据集。一个提出的可靠性框架侧重于故障动态、干预的控制面和可检测性,为 AI 系统的传统基于组件的故障分析提供了新的视角。
-
向量数据库通过快速语义搜索赋能RAG
向量数据库对于检索增强生成(RAG)应用至关重要,它通过将含义转换为向量来实现高效的语义搜索。这些数据库使用近似最近邻(ANN)索引,例如分层可导航小世界(HNSW)图,以快速从数百万个向量中找到最相关的向量,其性能优于传统的关键词搜索。关键组件包括存储向量、原始文本和元数据,流行的选项有 Pinecone、Weaviate 和 Chroma。
-
AI面试准备:涵盖向量数据库场景
本文提供了一套20个基于场景的问题与解答,重点关注向量数据库,旨在帮助AI工程师准备面试。文章涵盖了向量数据库在AI领域内的基本概念和实际应用。
-
理解检索增强生成 (RAG) 的细微差别
检索增强生成 (RAG) 是一种复杂的技术,具有多种实现方式,而非单一的整体概念。理解不同类型的 RAG 对于有效利用 GPT-4 等大型语言模型至关重要。LangChain 和 LlamaIndex 等框架,以及 Chroma、Pinecone 和 Weaviate 等向量数据库,在构建这些系统方面发挥着关键作用。
-
向量数据库详解:面向AI工程师的语义搜索与RAG
本系列文章聚焦于向量数据库,解释其在AI应用中的作用,特别是对于语义搜索和检索增强生成(RAG)。内容涵盖向量数据库如何存储和索引数据为向量,实现超越关键词匹配的快速相似性搜索。文章还涉及嵌入模型的选择,并为AI工程师面试提供基于场景的问题。
-
向量数据库必须加密数据才能实现真正的AI隐私,而不仅仅是依赖信任
当前向量数据库的方法,即数据必须解密才能进行相似性搜索,损害了真正的AI隐私。虽然供应商提供了SOC2合规性和访问控制等保证,但这依赖于对供应商的信任,对于内部知识、客户对话或财务记录等敏感数据来说是不够的。AI的真正隐私需要密码学强制执行,确保数据和查询在整个搜索过程中保持加密状态,服务器永远无法访问明文嵌入、查询或结果。这种架构方法,而不是基于信任的策略,提供了真正的隐私和安全。
-
新框架通过查询感知路由优化过滤式ANN搜索
研究人员开发了一种新颖的查询感知路由框架,以优化过滤式近似最近邻(ANN)搜索。该框架利用轻量级机器学习模型来预测给定查询的各种ANN方法的召回性能。通过查阅离线基准表,系统选择在召回率和每秒查询次数(QPS)之间提供最佳平衡的方法,从而提高效率。该方法在多个数据集上进行了测试,在召回率和QPS平衡方面显著优于现有的过滤式ANN基线,且延迟开销极小。
-
新的索引框架SPI提升向量数据库中RAG的性能
研究人员推出了一种名为语义金字塔索引(SPI)的新型向量数据库索引框架,旨在增强检索增强生成(RAG)管道。SPI根据查询的复杂性和语义粒度自适应检索深度,将嵌入组织成多个分辨率级别。这种方法允许在不进行完全索引重建的情况下高效地流式插入新向量,并支持渐进式的粗粒度到细粒度搜索。
-
Markdown 在 AI 数据管道中优于 JSON
对于 AI 数据管道而言,Markdown 在 LLM 输入的 grounding 方面通常优于 JSON 或纯文本,因为它效率高且能保留语义。Markdown 的结构与 LLM 训练数据非常契合,并且允许在检索增强生成 (RAG) 系统中进行有效的基于标题的分块,同时还能高效地表示表格。JSON 最适合需要严格模式遵从的提取任务,但其冗长使其不适合 grounding 大型数据集。在管道早期将原始 HTML 转换为 Markdown…
-
AI记忆解析:向量数据库与伦理回忆
本文探讨了AI记忆背后的工程技术,超越了魔法的概念,转向实际应用。它详细介绍了AI系统如何通过向量数据库等方法实现精确和合乎伦理的回忆。文章还触及了AI记忆的集成和使用方式的“后移动”转变的概念。
-
向量数据库:对LLM至关重要还是不必要的复杂性?
向量数据库在AI项目中越来越受欢迎,尤其是在结合LLM进行检索增强生成(RAG)时,它们能够对文本嵌入进行快速的语义相似性搜索。虽然它们在为上下文响应快速检索相关信息方面具有优势,但也带来了挑战。这些挑战包括复杂的设置、潜在的可扩展性问题以及与存储大量向量相关的显著成本,导致一些人选择SaaS解决方案。
-
RAG与微调:选择合适的人工智能方法并评估性能
关于检索增强生成(RAG)和微调用于人工智能应用的讨论,突出了它们各自的用例和结合的潜力。RAG因其易于更新和较低的维护成本,更适合信息频繁变化和通过检索外部数据提供最新知识的场景。微调更适合改变模型的行为、风格或对特定术语的理解,将知识直接嵌入模型。高级系统可以同时利用这两种方法,使用RAG处理当前信息,并使用微调来提高响应质量和一致性。评估框架对于评估RAG系统至关重要,重点关注忠实度和相关性,并且正在探索自动评分与独立评分的潜力。
-
AI安全威胁涌现:LLM代理被用于漏洞利用,新型防御措施已开发
网络安全研究人员正在强调与AI系统相关的新威胁和防御措施。一个令人担忧的问题是攻击者利用Marimo漏洞(CVE-2026-39987)部署LLM代理进行后渗透活动。作为回应,Clawdpatrol等项目正在成为专门针对AI代理的安全防火墙。此外,正在详细介绍对AI基础设施进行侦察的方法,包括扫描未受保护的向量数据库以及识别Ollama和Qdrant等组件。
-
17%的数据工程师职位现明确要求AI技能
对2026年5月6736个数据工程师职位发布的最新分析显示,所需技能发生了重大转变。近40%的职位发布中提到了人工智能,其中超过17%明确要求具备生成式AI技术(如LLMs、RAG和向量数据库)的专业知识。这些职位提供了显著的薪资溢价,在美国平均年薪高出18000多美元。虽然传统机器学习技能是最常被要求的,但新一代AI技术的采用正在迅速增长,尤其是在高级职位和医疗保健等行业。
-
向量数据库教程为初学者简化AI核心技术
本教程简化了向量数据库的概念,解释了它们在现代AI系统中的基本作用。旨在为有兴趣了解这项关键技术的学生和初学者提供易于理解的学习资源。
-
AI系统需要三种数据库:向量、图和关系型
生产级AI系统,特别是那些使用检索增强生成(RAG)的系统,当单一数据库被迫处理多样化的数据类型和功能时,常常会失败。向量数据库在语义搜索方面表现出色,但缺乏强大的事务保证,并且在更新方面存在困难,导致“漂移”,即过时信息被当作事实呈现。图数据库在结构化关系方面很有效,但对于批量文本检索效率低下,而关系型数据库提供可靠性,但缺乏语义搜索能力。作者提倡采用多数据库架构,利用每种数据库类型的特定优势来构建更具韧性和准确性的AI系统。
-
Andrej Karpathy 的 LLM Wiki 方法提高了研究效率
一种新的构建“LLM Wiki”的方法已被引入,其灵感来自 Andrej Karpathy 的技术。这种方法侧重于将原始数据与 AI 合成的 markdown 一起组织,以创建个人知识库。据报道,LLM Wiki 方法在个人研究方面比传统的向量数据库提高了 30% 的效率。