AI crawlers
PulseAugur coverage of AI crawlers — every cluster mentioning AI crawlers across labs, papers, and developer communities, ranked by signal.
-
指南：使用robots.txt、Nginx和WAF控制AI爬虫
本文提供了一份技术指南，介绍网站管理员如何使用robots.txt、Nginx配置和Web应用程序防火墙（WAF）规则来控制AI爬虫。旨在帮助网站所有者管理其内容哪些部分可供AI模型和其他自动化机器人访问。
-
Kernel.org 部署防御措施抵御每日数百万次 AI 爬虫请求
Kernel.org 每日正经历数百万次自动化请求的巨大涌入，主要来自 AI 爬虫。这种激增迫使该网站的维护者实施日益严格的防御措施来保护其基础设施。这一情况凸显了管理开源项目和在线资源的 AI 驱动流量日益增长的挑战。
-
AI爬虫给网络基础设施带来压力，分散了工程师的资源
由于AI爬虫活动的增加，维护互联网的成本在2024年激增。一家与Google等大型科技公司无关的软件存档的工程师们，现在正将他们的时间用于阻止这些AI地址，而不是开发新功能。这一转变凸显了AI数据消耗对网络基础设施日益增长的压力。
-
Kernel.org 遭遇消耗数百万每日请求的 AI 爬虫 · 跟踪 2 个来源
Kernel.org 正在经历 AI 爬虫流量的显著激增，每天数百万的请求压垮了其基础设施。这些机器人，其中一些采用 Anubis 工作量证明，正在消耗大量资源，一份报告指出，跨五个节点的 14 个 CPU 核心专门用于为爬虫渲染提交。尽管努力阻止这些爬虫，但仍有大量爬虫绕过了防御，导致数十亿的重复 URL 请求，而不是高效的代码克隆。
-
尽管AI爬虫屏蔽率低，但大多数网站未被AI引用 · 跟踪2个来源
最近的一项分析表明，尽管网站阻止AI爬虫的比例相对较低，但绝大多数网站并未被AI模型引用。研究发现，只有8.9%的网站采取措施阻止AI访问其内容，而高达94.8%的网站从未在AI生成的答案中被提及。这表明网站所有者控制AI访问的努力与AI系统实际使用其内容的程度之间存在脱节。
-
启动调查以评估 AI 爬虫对网络托管的影响
一项调查已经启动，旨在收集关于 AI 爬虫对网络托管服务影响的信息。该举措旨在增进对这一新兴问题的理解，因为目前关于该主题的知识有限。
-
AI 爬虫迫使博主暂时关闭博客
2ality 博客的作者 Axel Rauschmayer 因来自 AI 爬虫的流量激增，已暂时将其网站和书籍下线。他认为 AI 公司“窃取”了他的作品，导致访问量激增，从而消除了广告收入并增加了他无法承担的托管成本。Rauschmayer 计划在未来几个月内重新评估情况，并就给人类读者带来的不便表示歉意。
-
AI爬虫访问了Mastodon用户329 GB的数据
一位Mastodon用户报告称，在响应超过1.24亿次AI爬虫的请求时，发送了329 GB的数据。该用户对这些自动化系统访问的数据量表示不满。此事件凸显了人们对大型语言模型和AI训练过程中的数据消耗的担忧。