一位网站运营商详细描述了与AI抓取器的持续斗争，报告称其网站流量的99%以上来自机器人。该运营商发现，每有一个人类访客，像Anthropic的Claude-SearchBot这样的AI抓取器会发起大约214次页面请求。这种大量的抓取，特别是来自Claude-SearchBot和Amzn-SearchBot等来源的抓取，并未产生任何可识别的人类访客，促使运营商实施严格的防火墙规则和挑战来阻止无贡献的AI流量。 AI
影响 激进的AI抓取会消耗网站资源，并可能需要新的数据访问付费模式。
排序理由 运营商处理AI机器人流量的详细说明，并非AI实验室的直接发布。
在 Mastodon — mastodon.social 阅读 →
- Amzn-SearchBot
- Anthropic
- Bingbot
- Chrome DevTools MCP
- Claude-SearchBot
- Cloudflare
- Googlebot
- Mastodon
- Nick Gray
- PatronView
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
