CrawlForge
PulseAugur coverage of CrawlForge — every cluster mentioning CrawlForge across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
CrawlForge MCP 更新增强了用于网络抓取的功能，以绕过 Cloudflare
CrawlForge 已发布了六个对其 MCP 服务器的更新，解决了绕过 Cloudflare 的机器人检测的问题。这些更新从 v5.6.11 到 v6.11.0，引入了一个多阶段升级流程，用于抓取受保护的网站。此流程包括一个普通抓取，使用名为 impit 的新工具进行 Chrome TLS 握手，最后，如果前几种方法失败，则使用隐形浏览器（Camoufox 或 Chromium）。目标是可靠地抓取使用 Cloudflare、Data…
-
CrawlForge 在 28 个工具于真实网站上失败后修复了测试套件
CrawlForge 团队发现其自动化测试套件存在严重缺陷，该套件基于过时或不存在的网站选择器而非实际的实时数据通过测试。为解决此问题，他们将 28 个网络抓取工具应用于 Amazon、Wikipedia 和 GitHub 等真实网站。此过程发现了并修复了大量缺陷，导致其工具发布了六个新版本，相关软件包发布了四个版本。此后，该团队重新调整了其抓取模板的重点，优先考虑网站发布的结构化数据（如 JSON 端点），而不是依赖 HTML 解析…
-
CrawlForge 推出永不过期 API 积分，挑战行业惯例
CrawlForge 正在为其网络抓取 API 推出新的积分系统，旨在消除行业内积分过期的常见做法。与大多数每月重置未使用的积分的服务不同，CrawlForge 提供永不过期的单次购买积分包，以及只要订阅保持有效即可无限期滚动的付费计划积分。这种模式旨在惠及使用模式多变的用户，避免他们在高峰时段需要升级或支付超额费用。该公司将其与竞争对手 Firecrawl 进行对比，Firecrawl 通常不允许其自助服务计划的积分滚动，但提供…
-
CrawlForge为用户反馈提供1000个免费积分
CrawlForge正向完成简短产品调查的用户提供1000个免费积分。要获得积分资格，账户必须已至少使用250个积分用于API使用，以确保反馈来自活跃用户。该调查旨在收集用户体验和产品障碍方面的见解，回复将匿名且自行托管。
-
CrawlForge v5.0.0 修复 SSRF、OAuth 和敏感信息泄露问题
CrawlForge 发布了其 MCP Server 的 5.0.0 版本，重点关注安全性和正确性改进，而非新功能。此次更新解决了内部审计中发现的七个关键错误，包括一个可能暴露内部网络和云元数据的严重服务器端请求伪造 (SSRF) 漏洞。该版本还增强了 OAuth 流程的安全性，防止在遥测和日志中泄露敏感信息，并改进了计费的信用检查。此外，更新确保了 MCP 协议的合规性，并将所需的 Node.js 版本更新至 20.16.0。
-
ChatGPT 连接器支持网页抓取和表单创建
ChatGPT 推出了自定义 MCP 连接器，允许用户将外部工具（包括网页抓取和表单创建）集成到对话中。这些连接器现在被称为“应用”，需要通过 HTTPS 访问的远程 MCP 服务器，这意味着本地工具需要一个包装器或隧道服务。Plus、Pro、Business、Enterprise 和 Edu 等计划支持这些连接器，并广泛推出完整的写入操作功能。用户必须通过 ChatGPT 的设置配置这些应用，通常涉及 OAuth 流程进行身份验证，…
-
CrawlForge推出24个模板以简化网页抓取
CrawlForge发布了24个新的网页抓取模板，旨在简化常见的数据提取任务。这些模板可在图库中找到，是预配置的JSON工作流，将各种工具链接起来以实现特定的业务成果，如价格监控或潜在客户丰富。建议用户阅读并调整模板，了解其信用成本，并将其集成到他们选择的工作流中以进行高效的数据收集。