robots.txt
PulseAugur coverage of robots.txt — every cluster mentioning robots.txt across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
New bot directive file standard emerges beyond llms.txt
The success of Anna's Archive's llms.txt suggests a growing need for more nuanced bot directives than robots.txt offers. It's plausible that other organizations will adopt or create similar convention-based files to guide AI crawlers for specific purposes, potentially leading to a new de facto standard for AI-specific web access control.
Websites increasingly block AI crawlers via IP ranges, not just robots.txt
Evidence shows users are actively exploring and recommending blocking Google's AI search scans via IP ranges, rather than solely relying on robots.txt. This indicates a shift in strategy as websites become wary of AI crawlers' impact and the perceived inadequacy of robots.txt for controlling AI-specific access.
Google to deprecate robots.txt for AI crawlers due to complexity
Given the documented issues with Google's crawler documentation and the increasing complexity of AI content access needs, it's plausible Google may eventually move away from relying solely on robots.txt for its AI crawlers. They might introduce a more sophisticated, AI-specific directive system or API to manage access, especially as they shift to an AI-first search model.
-
Cloudflare 推出 Bot Preference Sync 以管理 AI 机器人
Cloudflare 推出了 Bot Preference Sync，一项旨在协调 robots.txt 指令与特定 AI 机器人配置的新功能。此工具允许网站所有者管理搜索引擎爬虫、AI 代理和机器学习模型训练流量如何与其内容进行交互。该服务对所有 Cloudflare 客户开放，无论其订阅级别如何。
-
AI 训练数据和版权引发关于 robots.txt 的激烈争论
关于将受版权保护的材料用于 AI 训练的争论正在加剧，特别关注 robots.txt 文件所扮演的角色。人们越来越希望 AI 开发人员能够遵守这些文件，这些文件指示了网站的哪些部分不应被爬取或用于训练。这个问题凸显了数据使用权与 AI 发展需求之间的重大冲突。
-
新的 `llms.txt` 约定旨在指导 AI 助手和代理
一项名为 `llms.txt` 的新约定被提出，作为网站与 AI 助手和代理直接沟通的一种方式。这个位于网站根目录的单一 Markdown 文件将作为 AI 模型的指南，类似于 `robots.txt` 指导爬虫。它旨在改善 LLM 理解和总结网站内容的方式，有可能提高网站在 AI 生成的搜索结果中的可见性。该格式很简单，需要网站名称、描述和重要页面列表，并且可以为大型网站自动生成。
-
新型 ShieldFont 通过改变机器人文本来干扰 AI 爬虫
一款名为 ShieldFont 的新字体已被开发出来，用于打击未经授权的 AI 数据抓取。ShieldFont 由设计师 Isaque Seneda 和 Gabriel Abrucio 创造，通过连字（ligatures）微妙地改变网页上的单词，使文本对 AI 爬虫来说毫无意义，但对人类用户来说仍然完全可读。此方法旨在扰乱训练数据的收集，而无需采用更容易检测或可逆的技术。
-
Apache服务器管理员使用mod_qos对抗AI爬虫
一位服务器管理员在Apache2服务器上实施了mod_qos，以缓解来自AI爬虫的过量请求，这些爬虫忽略了robots.txt。这些爬虫通过低效的请求（例如查询单个文件而不是克隆存储库）压垮了Git托管服务。管理员对当前的AI格局表示沮丧，并敦促其他人拒绝使用AI。
-
AI 爬虫难以访问 27% 的 Show HN 产品
最近对 Show HN 上发布的 383 个产品的扫描显示，AI 爬虫在访问方面存在严重问题。大约 27% 的产品对自动化系统来说是不可读的，这通常是由于客户端渲染且没有可解析的服务器响应，或者存在激进的机器人过滤器。更令人惊讶的是，17% 的产品主动阻止了像 Claude 这样的 AI 助手，这通常是由内容分发网络或 Web 应用程序防火墙实现的，而不是产品创始人明确的决定。这种不可见性意味着创始人可能会误解 AI 驱动的需求不足为…
-
Cloudflare 质疑 robots.txt 的遵守性，因机器人主导互联网
Cloudflare 的总法律顾问正在质疑网站是否应该遵守其 robots.txt 文件中的指令，尤其是在机器人日益主导互联网流量的情况下。这一考虑出现的原因是，互联网上充斥着自动化代理，促使人们重新评估网站所有者如何管理机器人访问和交互。
-
网站SEO审计指南侧重于机器可读性
一份技术指南概述了20项网站优化检查，侧重于搜索引擎爬虫的机器可读性。审计分为四个组：访问、传递、结构和内容，每个组都有具体的说明和通过/失败条件。关键检查包括验证robots.txt和站点地图，确保内容可被OAI-SearchBot等机器人访问，并确认页面和重定向的正确HTTP状态码。
-
Claude 共享链接因公开分享而通过 Google 搜索暴露
2026 年 7 月的报道指出，公开分享的 Claude 聊天记录和 Artifacts 出现在 Google 搜索结果中，这并非安全漏洞所致，而是用户将内容设为了公开。这凸显了一个普遍的误解：用户将“知道链接的人”视为私密，但实际上，未经身份验证的共享链接本质上就是公开网站。文章强调，robots.txt 或 noindex 标签等机制并不能提供真正的隐私，隐私需要身份验证和授权，或者干脆不发布敏感数据。
-
Anthropic 的 Claude 聊天记录通过 Google 和 Bing 搜索结果泄露
由于共享页面缺少“noindex”标签，通过 Anthropic 的 Claude 聊天机器人共享的对话无意中通过 Google 和 Bing 搜索结果暴露。这使得搜索引擎可以索引用户公开的链接，从而泄露了加密货币密钥、个人详细信息和法律策略讨论等敏感信息。虽然 Anthropic 表示共享链接不可猜测，并且用户必须明确共享它们，但缺少“noindex”标签意味着任何公开张贴这些链接都可能导致广泛的可发现性。该问题之前已被报道过，并且…
-
Robots.txt、sitemap.xml 和 llms.txt：理解 AI 新的网络策展文件
2026年，网站所有者将需要管理三个不同的纯文本文件：robots.txt、sitemap.xml 和新的 llms.txt。Robots.txt 控制机器人可以访问哪些网络路径，sitemap.xml 列出搜索引擎可索引的所有页面，而 llms.txt 则专门为 AI 模型在推理过程中策展精选的高信号页面列表。这些文件在管理网站访问、确保全面覆盖以及为 AI 提供目标信息方面发挥着互补作用。
-
Pagecord 默认阻止 AI 训练机器人，提供自定义 robots.txt
Pagecord 已实施默认设置，阻止 AI 训练机器人访问其内容，但仍允许 AI 搜索引擎。该平台还允许高级客户自定义其 robots.txt 文件，以进一步控制爬虫访问。
-
新的llms.txt文件旨在指导AI聊天机器人了解网站内容
一种名为`llms.txt`的新文件格式已被提出，以帮助AI聊天机器人更有效地理解网站内容。与控制搜索引擎访问的`robots.txt`不同，`llms.txt`提供了关于网站目的、关键页面和内容结构的清晰、通俗的指导。虽然尚未被普遍采用，但该文件旨在通过提供一种直接的方式供大型语言模型解释网站信息，从而提高AI生成答案的准确性。
-
新兴的 llms.txt 格式帮助 AI 代理理解网站
新兴的 llms.txt 文件格式正作为一种帮助 AI 代理理解网站内容和文档的方式获得关注，尽管它尚未成为网络标准。该文件提供了一种结构化的方式供网站传达其与 AI 相关的信息，这与 robots.txt 和 sitemaps 等现有格式有所区别。文章提供了关于其推荐结构、常见陷阱以及针对各种 Web 开发框架的自动化脚本的指导。
-
AI 机器人绕过 robots.txt，带来新的数据访问挑战
网站越来越多地遇到绕过传统 robots.txt 规则的 AI 机器人，实际上将它们视为过时。这些能够实时回答问题的先进机器人由 AI 公司部署，而未在 robots.txt 文件中明确指示。这种疏忽意味着网站可能会无意中向它们试图限制的 AI 模型提供数据。
-
分析发现，网站阻止AI训练爬虫的措施常常被忽略 · 追踪2个来源
对阻止AI训练爬虫的网站进行的最新分析表明，许多这些网站并未有效实施或遵守其自身的阻止机制。这项研究检查了robots.txt文件的使用情况，发现相当一部分旨在阻止AI数据抓取的网站基本上是无效的。这表明这些网站限制AI训练数据访问的意图与其实际技术实施之间存在差距。
-
Cloudflare 推出 AI 机器人控制功能，区分搜索、代理和训练访问权限
Cloudflare 正在推出新的控制功能来管理 AI 机器人对网站的访问，区分搜索机器人、代理机器人和训练机器人。自 2026 年 9 月 15 日起，Cloudflare 上的新域名将在支持广告的页面上默认阻止代理和训练机器人，而搜索机器人仍被允许。此举旨在让网站所有者能够更精细地控制其内容如何被 AI 使用，区分可发现性和模型训练的数据提取。
-
人工智能就绪网站：FAQ Schema和Robots.txt最有效，分析发现
根据对数千个网站数据的分析，关于使网站“人工智能就绪”的大多数建议都是噪音。最有效的策略包括确保人工智能爬虫可以通过robots.txt访问内容，并实施FAQ Schema，这已被证明能显著提高人工智能引用率。虽然实体优化和像llms.txt这样的未来赌注显示出希望，但当前数据显示它们对人工智能可见性的影响较小。
-
ChatGPT 搜索资格 Bug：为何内容无法被索引
高质量内容可能因“资格”问题而无法出现在 ChatGPT 的搜索结果中，而非内容质量问题。这种资格取决于 AI 系统是否能够访问和索引内容，这一过程独立于标准的搜索引擎可见性。为确保内容可被 ChatGPT 和其他 Microsoft AI 产品发现，开发者必须专门向 Bing Webmaster Tools 提交其网站，并确保其爬虫（如 OAI-SearchBot）未被阻止。Cloudflare 的“阻止 AI 机器人”设置等安全工…
-
AI机器人促使需要新的人类验证方法
用户在质疑AI的进步是否会为在线遇到的持续存在的“证明你是人类”的JavaScript提示找到解决方案。他们建议可以扩展现有的网络标准，如robots.txt和sitemaps，也许通过一个网站的整个机器可读存档，来更有效地帮助区分机器人和人类。