apify-web-scraper

开发者概述将网站转换为 Markdown 的 RAG 管道

一位开发者概述了一个将网站内容转换为干净 Markdown 的管道，与原始 HTML 相比，这种格式对于检索增强生成 (RAG) 系统更有效。该过程涉及使用 Apify actor，特别是 `website-content-crawler`，将内容提取并格式化为 Markdown。然后，可以直接使用此 Markdown 来生成嵌入并将其存储在向量数据库中，与处理 HTML 相比，可显著减少 token 使用量。