一个长期存在、故意不对其进行索引的WordPress.com博客的作者注意到，过去一年美国流量显著增加，几乎与欧洲流量相当。鉴于该博客缺乏搜索引擎索引，并且其内容通过ActivityPub分享到Fediverse时经常被截断，这一激增尤其令人惊讶。作者推测，尽管有索引限制，AI爬虫可能正在访问该内容，或者读者正在使用自动翻译工具。 AI
影响 关于AI爬虫访问未索引内容的猜测可能为未来的数据抓取策略提供信息。
排序理由 博客作者反思流量来源和AI爬虫。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Wpisujcie miasta Ten blog pisany jest od wielu lat i jego celem nigdy nie były zasięgi. Od początku istnienia był wyłączony z indeksowania przez wyszukiwarki internetowe. Wychodziło, że jedyna strategia dotarcia tutaj to wąskie grono powiązanych blogów i komentarzy na tych blogac…