Cloudflare 已开始为其 Pay-Per-Crawl 服务实施 HTTP 402 Payment Required 状态码,此举显著改变了网络爬虫与网站的交互方式。此前,爬虫要么获得 200 OK 访问权限,要么因限制收到 403 Forbidden。新的 402 状态码相当于报价收费,要求爬虫携带确切的价格重新请求才能获得访问权限,有效地将访问控制转变为交易过程。该新状态码的简单实现可能导致严重超支,正如一项测试所示,一个简单的代理花费了其预算的 10 倍,而一个具有价格上限和备用选项的更复杂的处理程序则有效控制了成本并检索了较少的页面。 AI
影响 网络爬虫和 AI 代理需要新的逻辑来处理交易式访问,这将影响数据获取成本和策略。
排序理由 这是 Cloudflare 的一项新产品功能实施,并非核心 AI 模型发布或研究论文。
- 200 OK
- 402 Payment Required
- 403 Forbidden
- Cloudflare
- HTTP
- Pay Per Crawl
- RFC 9110: HTTP Semantics
- Stack Overflow
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →