使用 LangGraph、Ollama 和嵌入式 Qdrant 在本地运行 RAG Agent

本文详细介绍了如何使用 LangGraph、Ollama 和嵌入式 Qdrant 向量存储完全在本地离线运行检索增强生成（RAG）Agent。该设置通过配置系统使用本地模型进行聊天和嵌入，从而无需 API 密钥。作者演示了如何通过配置在本地 Ollama 和远程 OpenAI 提供商之间进行切换，以及如何在嵌入式 Qdrant 实例和远程服务器之间进行切换。该过程包括使用 Qwen3.5:9b 等模型进行聊天和使用 BGE M3-Embedding 进行嵌入来设置 Ollama，并配置 Qdrant 将数据持久化到本地。文章重点介绍了一种通过探测活动嵌入器来动态确定嵌入向量维度的方法，确保在切换提供商时具有兼容性。 AI

影响 支持 RAG Agent 的本地开发和部署，减少对云 API 的依赖，并可能降低成本。

排序理由 文章描述了一种技术实现，用于在本地离线配置下运行现有的 AI 框架（RAG Agent）和特定工具（LangGraph、Ollama、Qdrant），这是一种实际应用，而非新发布或研究。

在 dev.to — LLM tag 阅读 →

• BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
• LangChain
• langgraph
• Ollama
• OllamaEmbeddings
• OpenAI
• OpenAIEmbeddings
• qdrant
• QdrantClient
• Qwen3.5:9b
• RecursiveCharacterTextSplitter

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →