PulseAugur
中
实时 10:14:57
English(EN) We checked 100 well-known sites for AI-crawler readiness: llms.txt, robots.txt, schema, sitemaps

网站对 AI 爬虫的准备情况参差不齐,许多网站阻止了爬虫

对 100 个知名网站的研究显示,AI 爬虫的准备情况各不相同。虽然 38% 的网站提供了 `llms.txt` 文件,但在开发者工具中比新闻或消费者网站更常见。此外,25% 的网站通过其 `robots.txt` 文件阻止了至少一个主要的 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot),其中新闻网站阻止 ClaudeBot 的比例尤其高。研究还注意到网站如何配置对搜索引擎爬虫和用于基础模型训练的爬虫的访问权限存在差异。 AI

影响 突显了网络上 AI 数据访问控制水平的差异,可能影响模型训练和搜索结果的包含。

排序理由 研究分析了网站对 AI 爬虫的配置。 [lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

网站对 AI 爬虫的准备情况参差不齐,许多网站阻止了爬虫

本文如何被排名

Signal score
55 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
研究分析了网站对 AI 爬虫的配置。 [lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
product, policy
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Kien Phan ·

    我们检查了100个知名网站的AI爬虫就绪情况:llms.txt, robots.txt, schema, sitemaps

    <h2> TL;DR </h2> <ul> <li>38 of 100 well-known sites serve an <code>llms.txt</code> file (42% of the 91 we could check). The split is sharp: 25 of 35 developer-tool sites, 2 of 18 news and media sites.</li> <li>24 of the 96 sites whose <code>robots.txt</code> we could read (25%) …