Web Page to Markdown Actor

新的Python工具将文档网站转换为RAG就绪的Markdown

一个使用Python和Apify平台构建的新工具，可以将文档网站转换为适合检索增强生成（RAG）系统的结构化Markdown块。这个过程大约需要五分钟，提取相关内容，同时排除导航元素和页脚。该工具利用站点地图识别页面，并生成约400个token的块，每个块都带有其标题路径标签以获得更好的上下文。然后，这些处理过的块可以加载到ChromaDB等本地向量存储中，以便进行高效查询。