RecursiveCharacterTextSplitter
PulseAugur coverage of RecursiveCharacterTextSplitter — every cluster mentioning RecursiveCharacterTextSplitter across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
使用 LangGraph、Ollama 和嵌入式 Qdrant 在本地运行 RAG Agent
本文详细介绍了如何使用 LangGraph、Ollama 和嵌入式 Qdrant 向量存储完全在本地离线运行检索增强生成（RAG）Agent。该设置通过配置系统使用本地模型进行聊天和嵌入，从而无需 API 密钥。作者演示了如何通过配置在本地 Ollama 和远程 OpenAI 提供商之间进行切换，以及如何在嵌入式 Qdrant 实例和远程服务器之间进行切换。该过程包括使用 Qwen3.5:9b 等模型进行聊天和使用 BGE M3-Em…
-
RAG分块方法：提升LLM准确性的指南
分块是检索增强生成（RAG）系统的关键预处理步骤，旨在通过提供外部知识来提高大型语言模型（LLM）的事实准确性。RAG的有效性在很大程度上取决于如何将文本文件分割成可管理的片段或“块”，以适应LLM的令牌限制并促进准确检索。存在各种分块策略，每种策略在计算成本、内容感知和结构完整性方面都有其自身的权衡。
-
LangChain 通过标准化组件简化 LLM 应用开发
LangChain 是一个旨在简化 LLM 应用开发的框架，它为各种组件提供了一个标准化的接口。它抽象了与不同 AI 模型、文档加载器、文本分割器、向量存储和代理交互的复杂性。这种抽象允许开发人员轻松地在不同的 LLM 提供商之间切换，尝试不同的模型，并在无需大量代码重写的情况下构建复杂的检索增强生成（RAG）等管道。该框架支持 Python 和 Node.js，并提供用于文档摄取、嵌入生成、检索以及用于多步任务的代理创建的工具。
-
作者警告：RAG 块重叠默认值损害性能
许多检索增强生成 (RAG) 管道错误地使用了 200 个 token 的默认块重叠，这一设置因早期 LangChain 教程而普及。这个默认值虽然对通用示例很方便，但可能导致召回率下降和存储成本增加，特别是对于不需要重叠的结构化文档。作者提出了一项简单的消融研究，可以在一小时内完成，以确定特定语料库的最佳块大小和重叠度，从而提高 RAG 的性能和效率。
-
PDF RAG 管道因布局失败；布局感知分块是解决方案
检索增强生成 (RAG) 管道在处理 PDF 文档时常常失败，原因是简单的文本分割方法忽略了文档的布局。这会导致包含连接的列、错位的页脚和分离的标题的损坏的块，从而导致信息检索不准确。解决方案涉及一个四层方法：检测文本块的正确阅读顺序，按语义角色（例如文本、表格、图形）对块进行分类，删除重复的标题和页脚，并按文档结构（章节）而不是任意的 token 数量进行分块。与标准方法相比，这种布局感知分块显著提高了检索准确性，即使使用相同的嵌入模型。
-
修复本地 LLM 知识库需要更好的检索，而非新模型
设置本地 LLM 知识库通常会产生糟糕的结果，这是由于检索管道中的问题，而非模型本身。常见问题包括不充分的分块，导致句子被分割或不相关的内容被分组；使用未能捕捉特定领域语义细微差别的嵌入模型；以及检索到的块太少，无法重建必要的上下文。解决方案包括使用具有重叠和语义边界的递归分割器以获得更好的分块；测试各种嵌入模型，如 BAAI/bge-base-en-v1.5 或 intfloat/e5-base-v2，以找到适合数据的模型；以及增加…