Cloudflare 推出一项新功能,允许网站所有者区分用于搜索引擎的内容索引和用于 AI 训练的内容使用。从 2026 年 9 月 15 日开始,网站可以选择退出 AI 训练,同时仍允许搜索引擎爬虫访问,解决了之前如果禁止 AI 训练则完全阻止的绝大部分网络流量。这项集成到 Cloudflare 安全设置中并通过 robots.txt 或 HTTP 标头进行通信的新控件,还包括一个单独的选项来管理代表用户行事的 AI 代理的访问权限。 AI
影响 允许网站在不牺牲搜索引擎可见性的情况下控制 AI 训练数据的使用,可能影响 AI 模型开发和搜索引擎优化策略。
排序理由 Cloudflare 产品更新,实现了对用于 AI 训练和搜索索引的 Web 内容使用的精细控制。
- AI agents
- Block AI Bots
- Bot Preference Sync
- Cloudflare
- HTTP
- Internet Engineering Task Force
- Managed Robots.txt
- PYMNTS
- robots.txt
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →