Website Content Crawler

开发者对网站到 Markdown 爬虫进行基准测试：速度 vs. 内容质量

一位开发者在五个真实网站上对其自定义的网站到 Markdown 爬虫与 Apify 的网站内容爬虫 (WCC) 进行了基准测试。开发者的工具 Website Markdown Crawler 在基本模式下更快、更便宜，但 Apify 的 WCC 在移除菜单和页脚等无关页面元素方面表现出色。两种工具都难以准确提取代码块和处理表格、标题等特定 HTML 结构，其中 WCC 在 Next.js 文档和 Intercom 帮助内容上出现了问题。