CrawlForge 已发布了六个对其 MCP 服务器的更新,解决了绕过 Cloudflare 的机器人检测的问题。这些更新从 v5.6.11 到 v6.11.0,引入了一个多阶段升级流程,用于抓取受保护的网站。此流程包括一个普通抓取,使用名为 impit 的新工具进行 Chrome TLS 握手,最后,如果前几种方法失败,则使用隐形浏览器(Camoufox 或 Chromium)。目标是可靠地抓取使用 Cloudflare、DataDome、PerimeterX、Akamai、Amazon 或 Vercel 等机器人检测服务的网站。 AI
影响 增强了针对高级机器人检测的网络抓取能力,可能影响数据收集和分析工作流程。
排序理由 该项目详细介绍了特定工具(MCP 服务器)的软件更新和新功能,以提高其绕过机器人检测的功能,而不是一项新发布或重要的行业事件。
- Akamai Technologies
- Camoufox
- ClaudeAI
- Cloudflare
- CrawlForge
- DataDome
- MCP
- PerimeterX
- v5.6.11
- v5.9.0
- v6.11.0
- v6.6.2
- v6.8.0
- Vercel
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →