Apify Academy

网站到 Markdown 工具简化 RAG 数据准备

一位开发者概述了一个两步流程，用于准备网站内容以进行检索增强生成 (RAG)，以提高数据质量。第一步涉及使用 Website to Markdown Actor 等工具来抓取网站，仅提取主要内容，同时剥离导航和页脚等无关元素，并将其转换为干净的 Markdown。第二步侧重于按标题结构化地分块此 Markdown 内容，确保每个块代表一个连贯的部分，并包含源 URL 和标题路径等元数据，以实现更好的检索和引用。