对 100 个知名网站的研究显示,AI 爬虫的准备情况各不相同。虽然 38% 的网站提供了 `llms.txt` 文件,但在开发者工具中比新闻或消费者网站更常见。此外,25% 的网站通过其 `robots.txt` 文件阻止了至少一个主要的 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot),其中新闻网站阻止 ClaudeBot 的比例尤其高。研究还注意到网站如何配置对搜索引擎爬虫和用于基础模型训练的爬虫的访问权限存在差异。 AI
影响 突显了网络上 AI 数据访问控制水平的差异,可能影响模型训练和搜索结果的包含。
排序理由 研究分析了网站对 AI 爬虫的配置。 [lever_c_demoted from research: ic=1 ai=1.0]
- Anthropic
- ChatGPT
- ClaudeBot
- GPTBot
- Jeremy Howard
- llms.txt
- OAI-SearchBot
- OpenAI
- PerplexityBot
- robots.txt
- SEOBolt
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →