Cloudflare 推出了一个新的系统,将 AI 机器人分为三类:搜索、代理和训练。自 9 月 15 日起,新域名将自动阻止代理和训练机器人访问带有广告的页面。这一变化可能会给抓取实时网页的 AI 代理带来挑战,可能会返回“请验证您是人类”的验证信息,而不是预期的内容。 AI
影响 这一变化可能会影响 AI 代理访问和处理网络内容的方式,可能需要开发人员调整其抓取策略并更透明地识别机器人。
排序理由 Cloudflare 宣布推出新的机器人分类系统,并对某些 AI 机器人默认阻止访问启用广告的页面。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →