Cloudflare 正在实施一项新策略，以区分 AI 爬虫和通用搜索引擎机器人。该公司将不再一概而论地阻止与 AI 相关的流量，而是允许 AI 爬虫访问网站，前提是它们遵守 robots.txt 文件中概述的特定目的。这种方法旨在为网站所有者提供更精细化的控制，以决定其内容如何被 AI 模型访问和利用。 AI
影响 此举为网站所有者提供了对 AI 数据抓取更多的控制权，可能影响 AI 模型的训练方式。
排序理由 该条目讨论了一家网络基础设施公司如何处理流量的变化，这影响了 AI 爬虫，但并非核心 AI 发布或研究。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
