Googlebot
PulseAugur coverage of Googlebot — every cluster mentioning Googlebot across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Cloudflare强制AI按使用付费以获取网络内容
Cloudflare正在引入新政策，以解决生成式AI在未经补偿的情况下消耗网络内容所造成的不平衡问题。自2026年9月15日起，Cloudflare将默认阻止AI爬虫访问受广告支持的页面，同时允许传统的搜索引擎爬虫访问。该公司还将把其‘按抓取付费’模式发展为‘按使用付费’，使发布商在他们的内容被用于AI结果或被AI代理使用时获得补偿。该举措旨在通过提供工具供内容所有者管理权限、归属和付款，从而创建一个更公平的生态系统，支持依赖广告和订阅的发布商。
-
AI爬虫在网站流量上已与Googlebot持平 · 跟踪到1个来源
在过去30天内，AI爬虫占网站流量的35%，与Googlebot的流量相当。GPTBot、ClaudeBot和Amazonbot等爬虫是活动最频繁的网络爬虫之一，其中Amazonbot和ChatGPT-User的每日访问量尤其高。AI驱动的爬虫活动的激增凸显了它们在网络生态系统中日益增长的重要性。
-
AI 搜索机器人压垮主机，导致被屏蔽
一位网站管理员因“Claude-SearchBot”发送过多请求而将其屏蔽，给共享主机带来了巨大压力。此前，“Amzn-SearchBot”也因同样原因被屏蔽。该管理员将此与 GoogleBot 和 BingBot 的较轻影响进行了对比，并对 AI 公司在管理其网络爬虫方面的明显能力不足表示沮丧。
-
边缘SEO：通过CDN中间件优化机器人流量
本文讨论了边缘SEO，一种利用内容分发网络（CDN）功能（如Cloudflare Workers）在搜索引擎机器人和大语言模型请求到达源服务器之前进行拦截和处理的技术。通过在CDN层处理预渲染内容或注入元标签等任务，开发人员可以减少服务器负载，提高延迟，并优化爬取预算。作者提供了一个Cloudflare Workers的JavaScript示例，演示了如何将机器人流量重定向到预渲染服务或应用自定义逻辑，从而将计算工作从后端卸载。
-
Robots.txt 无法满足 AI 爬虫多样化的内容访问需求
设计于 1994 年的传统 robots.txt 文件在 AI 时代已不足以管理网络内容的访问。现代 AI 爬虫具有多样化的目的，包括训练基础模型、提供基于事实的答案以及满足用户请求，而 robots.txt 的简单允许/禁止指令无法区分这些目的。网站运营者现在需要更复杂的方法来验证爬虫身份、定义访问目的，并强制执行超越基本协议的规则，以保护有价值的内容。