robots.txt
PulseAugur coverage of robots.txt — every cluster mentioning robots.txt across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
New bot directive file standard emerges beyond llms.txt
The success of Anna's Archive's llms.txt suggests a growing need for more nuanced bot directives than robots.txt offers. It's plausible that other organizations will adopt or create similar convention-based files to guide AI crawlers for specific purposes, potentially leading to a new de facto standard for AI-specific web access control.
Websites increasingly block AI crawlers via IP ranges, not just robots.txt
Evidence shows users are actively exploring and recommending blocking Google's AI search scans via IP ranges, rather than solely relying on robots.txt. This indicates a shift in strategy as websites become wary of AI crawlers' impact and the perceived inadequacy of robots.txt for controlling AI-specific access.
Google to deprecate robots.txt for AI crawlers due to complexity
Given the documented issues with Google's crawler documentation and the increasing complexity of AI content access needs, it's plausible Google may eventually move away from relying solely on robots.txt for its AI crawlers. They might introduce a more sophisticated, AI-specific directive system or API to manage access, especially as they shift to an AI-first search model.
-
AI 机器人绕过 robots.txt，带来新的数据访问挑战
网站越来越多地遇到绕过传统 robots.txt 规则的 AI 机器人，实际上将它们视为过时。这些能够实时回答问题的先进机器人由 AI 公司部署，而未在 robots.txt 文件中明确指示。这种疏忽意味着网站可能会无意中向它们试图限制的 AI 模型提供数据。
-
分析发现，网站阻止AI训练爬虫的措施常常被忽略 · 追踪2个来源
对阻止AI训练爬虫的网站进行的最新分析表明，许多这些网站并未有效实施或遵守其自身的阻止机制。这项研究检查了robots.txt文件的使用情况，发现相当一部分旨在阻止AI数据抓取的网站基本上是无效的。这表明这些网站限制AI训练数据访问的意图与其实际技术实施之间存在差距。
-
Cloudflare 推出 AI 机器人控制功能，区分搜索、代理和训练访问权限
Cloudflare 正在推出新的控制功能来管理 AI 机器人对网站的访问，区分搜索机器人、代理机器人和训练机器人。自 2026 年 9 月 15 日起，Cloudflare 上的新域名将在支持广告的页面上默认阻止代理和训练机器人，而搜索机器人仍被允许。此举旨在让网站所有者能够更精细地控制其内容如何被 AI 使用，区分可发现性和模型训练的数据提取。
-
人工智能就绪网站：FAQ Schema和Robots.txt最有效，分析发现
根据对数千个网站数据的分析，关于使网站“人工智能就绪”的大多数建议都是噪音。最有效的策略包括确保人工智能爬虫可以通过robots.txt访问内容，并实施FAQ Schema，这已被证明能显著提高人工智能引用率。虽然实体优化和像llms.txt这样的未来赌注显示出希望，但当前数据显示它们对人工智能可见性的影响较小。
-
ChatGPT 搜索资格 Bug：为何内容无法被索引
高质量内容可能因“资格”问题而无法出现在 ChatGPT 的搜索结果中，而非内容质量问题。这种资格取决于 AI 系统是否能够访问和索引内容，这一过程独立于标准的搜索引擎可见性。为确保内容可被 ChatGPT 和其他 Microsoft AI 产品发现，开发者必须专门向 Bing Webmaster Tools 提交其网站，并确保其爬虫（如 OAI-SearchBot）未被阻止。Cloudflare 的“阻止 AI 机器人”设置等安全工…
-
AI机器人促使需要新的人类验证方法
用户在质疑AI的进步是否会为在线遇到的持续存在的“证明你是人类”的JavaScript提示找到解决方案。他们建议可以扩展现有的网络标准，如robots.txt和sitemaps，也许通过一个网站的整个机器可读存档，来更有效地帮助区分机器人和人类。
-
提议新的agents.md标准以将AI代理成本降低96%
一位开发者提出了一个新的Web标准agents.md，以帮助AI代理更有效地访问信息，从而减少与当前工具调用方法相关的显著的token和时间开销。这个新标准旨在颠覆信息检索模型，从代理主动查询数据转变为数据被广播并提供给代理。提议的SignalMesh系统通过使用字典查找来检索上下文，而不是进行完整的LLM推理，展示了96%的开销降低。
-
Mastodon 部署机器人阻止忽略 robots.txt 的爬虫
Mastodon 正在采取措施阻止无视 robots.txt 指令的网络爬虫。该平台正在利用自动助推机器人来帮助识别和可能阻止这些未经授权的爬虫。此举旨在保护平台及其内容的完整性，防止被自动化数据抓取。
-
AI代理浏览得分因robots.txt重定向而提高
用户在PageSpeed Insights新推出的代理浏览部分获得了2/3的分数。这一成功归因于将llms.txt文件重定向到robots.txt，这是一种用于AI开发和Web开发的技术。
-
Nginx 配置阻止不遵守 robots.txt 的 AI 机器人
一位 Mastodon 用户分享了一个用于 Nginx Web 服务器的配置片段。该代码旨在阻止那些不遵守“robots.txt”文件但会表明其用户代理字符串的 AI 机器人。该解决方案旨在帮助网站管理员控制哪些机器人可以抓取他们的网站。
-
AI爬虫检查器解析10个主要AI爬虫的robots.txt
一款名为AI爬虫检查器的新工具已被开发出来，用于分析主要的AI爬虫如何与网站的robots.txt文件进行交互。该工具能够识别特定的AI爬虫，如OpenAI的GPTBot或Google的Google-Extended，是否被允许、屏蔽或部分屏蔽访问内容。该检查器解析robots.txt中复杂的指令，区分完全站点屏蔽和特定路径限制，从而提供对爬虫访问更细致的理解。
-
Robots.txt 无法满足 AI 爬虫多样化的内容访问需求
设计于 1994 年的传统 robots.txt 文件在 AI 时代已不足以管理网络内容的访问。现代 AI 爬虫具有多样化的目的，包括训练基础模型、提供基于事实的答案以及满足用户请求，而 robots.txt 的简单允许/禁止指令无法区分这些目的。网站运营者现在需要更复杂的方法来验证爬虫身份、定义访问目的，并强制执行超越基本协议的规则，以保护有价值的内容。
-
Anna's Archive 通过 llms.txt 指导 AI 爬虫
Anna's Archive 推出了 `llms.txt` 文件，以指导 AI 爬虫避开其主网站，转向批量数据端点。此举旨在减少验证码破解机器人对服务器造成的压力，并可能通过企业级数据访问产生收入。这一借鉴 `robots.txt` 的约定正被其他网站采纳，为大型语言模型提供精选内容索引或简单指令，尽管它缺乏强制执行机制。
-
谷歌AI搜索转变引发对爬虫访问的强烈反对
谷歌转向以人工智能为先的搜索模式，可能不再将流量导向原始网站，这引发了关于阻止谷歌爬虫的讨论。批评者认为，如果谷歌只提取内容而不返回访问者，网站就应该撤销访问权限。此外，人们还对谷歌关于其爬虫及其遵守robots.txt文件的文件记录不完整和可能具有误导性表示担忧。
-
robots.txt 可防止 AI 数据抓取
“robots.txt”文件可用于阻止机器人（包括用于 AI 训练的机器人）进行数据抓取。默认情况下，如果“robots.txt”允许所有访问，则内容是公开的，除非设置了密码保护。但是，在“robots.txt”中指定“Disallow: /”可以阻止机器人访问公共内容，除非提供了直接链接，因为机器人会优先读取此文件以获取指令。
-
用户探索通过IP范围阻止Google AI搜索扫描
用户正在探索阻止Google的AI搜索结果扫描其网站的方法。推荐的方法是阻止Google Cloud IP范围，而不是仅仅依赖robots.txt。该策略旨在防止一些人认为源自Google基础设施的恶意机器人流量。
-
AI爬虫与robots.txt：允许还是阻止？
文章讨论了AI网络爬虫访问内容的影响，特别是关于robots.txt文件。文章探讨了网站是否应允许或拒绝这些爬虫访问其数据。文章提出了一种细致的方法，主张区分对待，而不是简单地允许或阻止。
-
用户放弃Google搜索转向规避AI的替代品
用户对搜索引擎中的AI集成越来越不满，尤其是Google。许多人正在转向像DuckDuckGo和Kagi这样的注重隐私的替代品，理由是担心AI生成的内容和侵入性的AI功能。这些用户赞赏DuckDuckGo允许禁用AI答案和图片，一些人也在探索其他搜索引擎。
-
新的 llms.txt 标准引导大型语言模型理解重要网站内容
一种名为 llms.txt 的新标准已被引入，以帮助大型语言模型更好地理解网站内容。该文本文件通过概述网站的层级结构来指导 AI 模型，提供了一种比现有 robots.txt 文件更直接的方法。目标是改进大型语言模型访问和处理网站重要信息的方式。