Joe Fioti

新工具将网站转换为干净的 Markdown 以用于 RAG 管道

一款名为 Sitemap to Markdown 的新工具，作为 Apify Actor 构建，旨在简化将网站内容转换为干净 Markdown 以用于检索增强生成（RAG）管道的过程。该工具利用网站的站点地图来识别和下载主要内容，去除导航和页脚等样板元素。它提供增量同步功能，意味着它只重新处理自上次运行以来发生更改的页面，并且可以将内容分割成适合 RAG 的块，输出 llms.txt 和 llms-full.txt 等文件，以便轻松集…