apify-client
PulseAugur coverage of apify-client — every cluster mentioning apify-client across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新工具将Substack帖子导出为干净的Markdown以供LLM使用
一个名为Substack Scraper的新工具已被开发出来,可以将Substack帖子提取为干净的Markdown格式,解决了将新闻通讯内容输入LLM或RAG管道时遇到的常见问题。该工具可在Apify上使用,通过直接的API请求避免了对无头浏览器的需求,使其快速且经济高效。它移除了订阅按钮和分享小部件等无关元素,保留了标题、列表、代码块和图像的标准Markdown格式,并且可以集成到Python工作流中。
-
新工具将网站内容同步到向量数据库,优化 RAG 更新
一位开发者创建了一个工具,用于高效更新检索增强生成 (RAG) 项目中使用的向量数据库。该工具名为 Website to Knowledge Base Sync,专注于将网站内容与 Pinecone 或 Qdrant 等向量存储同步。它通过识别自上次同步以来仅更改或删除的内容块来实现这一点,从而避免了昂贵的不变数据重新嵌入。此方法可确保 RAG 助手引用最新信息并妥善处理内容删除。
-
动态文档的高效 RAG 索引更新
本文详细介绍了一种方法,用于有效地将检索增强生成 (RAG) 索引与不断变化的文档站点同步。它提出了一种系统,该系统识别修改、添加或删除的内容块,而不是进行完整的重新爬取和重新嵌入。这种方法利用了一个名为 Website Change Tracker 的工具,该工具分析网站更改并提供要更新和删除的块的特定列表。然后将更新的块应用于 Chroma、Qdrant、Pinecone、Weaviate 或 pgvector 等向量存储,确保 …
-
开发者详述将文档转换为 RAG 就绪 Markdown 的经济高效方法
两位开发者详述了将网站文档转换为适合检索增强生成(RAG)的干净 Markdown 的方法。第一篇文章讨论了使用 Apify actors,如 'Web Page to Markdown' 和 'Website to Markdown Crawler',强调其经济效益,每 1000 页约 0.10 美元,并将其与 Firecrawl 和 Jina Reader 等其他工具进行比较。第二篇文章使用 'Web Page to Markdo…
-
新工具将PDF和Word文档转换为用于RAG的结构化Markdown
一款新工具已被开发出来,可以将PDF和Word文档转换为结构化Markdown、表格行和检索增强生成(RAG)块。该工具旨在通过保留文档结构(如标题和表格)以及为RAG系统提供页级引用来改进知识提取。它还包括用于扫描文档的光学字符识别(OCR),并提供了Apify Store上不同PDF提取工具的比较。
-
开发者概述将网站转换为 Markdown 的 RAG 管道
一位开发者概述了一个将网站内容转换为干净 Markdown 的管道,与原始 HTML 相比,这种格式对于检索增强生成 (RAG) 系统更有效。该过程涉及使用 Apify actor,特别是 `website-content-crawler`,将内容提取并格式化为 Markdown。然后,可以直接使用此 Markdown 来生成嵌入并将其存储在向量数据库中,与处理 HTML 相比,可显著减少 token 使用量。
-
Hay Equipos 推出用于清理和提取文章数据的工具
Hay Equipos 在 Apify Store 上推出了一款文章提取器工具,旨在大规模清理和提取新闻文章中的关键信息。该工具处理 URL 列表,移除菜单和广告等无关内容,仅提供文章正文、标题、作者、发布日期和其他元数据。它利用 Mozilla Readability 进行文本提取,并解析 Open Graph 和 JSON-LD 等发布者元数据以获取事实详情,确保提取信息的准确性。该服务按提取的文章数量收费,提取失败的则免费,并提…