Turndown service
PulseAugur coverage of Turndown service — every cluster mentioning Turndown service across labs, papers, and developer communities, ranked by signal.
-
开发者详述从 Substack 新闻通讯创建 RAG 知识库
一位开发者概述了从 Substack 新闻通讯构建检索增强生成(RAG)知识库的方法。该过程包括通过 Substack API 列出帖子,获取正文内容,然后使用 Turndown 服务将 HTML 转换为干净的 Markdown。然后将此干净的 Markdown 分块以供 AI 模型使用,并制定了通过跟踪已见帖子来保持知识库更新的策略。
-
AI代理工具在几秒钟内从网页中提取干净的Markdown
一位开发者创建了一个工具,可以高效地从网页中提取干净的Markdown内容供AI代理使用。该过程优先快速获取HTML,仅在JavaScript密集型应用程序中才诉诸无头浏览器。然后使用Mozilla Readability识别主要文章内容,接着使用Turndown服务将HTML转换为Markdown,确保链接和图像URL是绝对路径。该工具还包含了礼貌的机器人实践,例如遵守robots.txt并发送真实的User-Agent。
-
开发者分享将网页转换为 Markdown 以供 LLM 使用的方法
一位开发者分享了一种将网页转换为适合大型语言模型使用的干净 Markdown 的方法。此过程涉及使用可读性工具进行内容提取,以及使用一个名为 Turndown 的服务进行 Markdown 转换。仅在转换过程中有必要时才使用无头浏览器。
-
LinkLoom 工具包简化网页抓取和内容提取
LinkLoom 是一个用于 TypeScript 和 Bun 的新工具包,可简化网页抓取和内容提取。它可以将 URL 转换为干净的 markdown,使用隐身浏览器渲染 JavaScript 密集型页面,将 PDF 解析为结构化文本或纯文本,并提取表格和链接等各种元素。该工具包同时提供用于编程使用的库 API 和用于命令行操作的 CLI,并可选支持通过 OpenAI 或 Gemini 进行文本嵌入。