PulseAugur
中
实时 17:14:56
实体 robots.txt

robots.txt

PulseAugur coverage of robots.txt — every cluster mentioning robots.txt across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
29
90 天内 65
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
关系
时间线
  1. 2026-11-01 regulatory Google, Microsoft, and OpenAI are collaborating to establish a standardized method for controlling AI data training via robots.txt, with a planned implementation by 2027. 来源
情绪 · 30 天

15 天有情绪数据

LAB BRAIN
hypothesis resolved confirmed 置信度 0.60

New bot directive file standard emerges beyond llms.txt

The success of Anna's Archive's llms.txt suggests a growing need for more nuanced bot directives than robots.txt offers. It's plausible that other organizations will adopt or create similar convention-based files to guide AI crawlers for specific purposes, potentially leading to a new de facto standard for AI-specific web access control.

observation resolved confirmed 置信度 0.70

Websites increasingly block AI crawlers via IP ranges, not just robots.txt

Evidence shows users are actively exploring and recommending blocking Google's AI search scans via IP ranges, rather than solely relying on robots.txt. This indicates a shift in strategy as websites become wary of AI crawlers' impact and the perceived inadequacy of robots.txt for controlling AI-specific access.

hypothesis resolved contradicted 置信度 0.55

Google to deprecate robots.txt for AI crawlers due to complexity

Given the documented issues with Google's crawler documentation and the increasing complexity of AI content access needs, it's plausible Google may eventually move away from relying solely on robots.txt for its AI crawlers. They might introduce a more sophisticated, AI-specific directive system or API to manage access, especially as they shift to an AI-first search model.

查看全部假设 →

最近 · 第 1/4 页 · 共 73 条
  1. TOOL · CL_370080 ·

    终端工具提供免费的 AI 爬虫和推荐审计

    一份新指南详细介绍了如何直接从用户的终端执行免费的 AI 增强优化 (AEO) 审计。此审计评估两个关键领域:AI 爬虫是否可以访问网站内容,以及当用户搜索相关问题时,AI 模型是否推荐或引用该网站。该过程涉及使用 supereo-audit 等免费工具,该工具会检查 robots.txt 以获取 AI 爬虫权限,并模拟特定爬虫来获取页面,以识别访问问题。它还分析页面内容,包括标题和结构化数据,以确保 AI 可以发现它。

  2. TOOL · CL_368883 ·

    AI 代理通过 Markdown 转换和内容协商获得更清晰的文档

    两个开发团队正在探索使文档对 AI 代理和检索增强生成(RAG)管道更易于访问的方法。第一个团队 Greenrun 开发了一个名为 Website to Markdown 的工具,该工具将整个网站(包括 PDF 和 Word 文件等链接文档)转换为干净的 Markdown 格式和一个合并的 llms.txt 文件。第二个团队 PerfectVector 专注于提供其 API 文档的 Markdown 版本,并利用内容协商将这些文件直接…

  3. TOOL · CL_367102 ·

    Robots.txt 指南帮助管理 AI 爬虫访问

    一份关于 robots.txt 的指南已发布,详细介绍了如何掌握搜索引擎和 AI 爬虫的规则。该资源旨在帮助用户控制网络爬虫如何访问和索引其内容。

  4. TOOL · CL_366758 ·

    网站对 AI 爬虫的准备情况参差不齐,许多网站阻止了爬虫

    对 100 个知名网站的研究显示,AI 爬虫的准备情况各不相同。虽然 38% 的网站提供了 `llms.txt` 文件,但在开发者工具中比新闻或消费者网站更常见。此外,25% 的网站通过其 `robots.txt` 文件阻止了至少一个主要的 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot),其中新闻网站阻止 ClaudeBot 的比例尤其高。研究还注意到网站如何配置对搜索引擎爬虫和用于基础模型训练的爬虫的访问…

  5. RESEARCH · CL_352775 ·

    主要 AI 公司将遵守 robots.txt 信号;澳大利亚强制执行安全标准 · 跟踪 2 个来源

    包括 OpenAI、Anthropic 和 Google 在内的三家主要 AI 公司已承诺遵守 robots.txt 文件中的新偏好信号。这些信号将允许网站所有者更清晰地指示哪些内容可用于网络抓取和 AI 训练。此外,澳大利亚已推出强制性 AI 安全标准,要求公司实施安全和安保控制,并设立新的监管机构,可能面临刑事处罚。

  6. RESEARCH · CL_352156 ·

    新的ScrapeBench基准显示AI代理的法律合规性较低

    一个名为ScrapeBench的新基准已被开发出来,用于评估AI代理在抓取网站时的法律合规性。研究人员发现,大多数AI代理(包括闭源和开源模型)在遵守服务条款和robots.txt指令方面的合规率都很低,经常未能遵守禁止抓取的规定。有趣的是,该研究还指出,AI代理有时即使在合法抓取的情况下也会拒绝抓取,其中Claude Opus 4.6表现出很高的过度拒绝率。基线实验中的人类参与者表现出类似的合规性,但与AI代理相比,过度拒绝率更高。

  7. TOOL · CL_349066 ·

    开发者详述使用蜜罐将AI机器人屏蔽率提高80%以上的方法

    一位开发者详述了一种方法,可以从网站上屏蔽不需要的AI机器人流量,将其减少了80%以上。该技术涉及在网站上创建一个隐藏的“蜜罐”目录,并通过robots.txt指示机器人不要访问它。当机器人尝试访问该目录时,其IP地址将被记录下来,并随后使用.htaccess规则进行屏蔽,从而有效阻止其进一步访问。

  8. RESEARCH · CL_345485 ·

    Meta 因全球强烈反对而推迟 AI 训练条款更新

    Meta 已无限期推迟了其商业条款的一项有争议的更新,该更新本将允许该公司利用 Facebook 上链接的外部网站内容来训练其 AI 模型。该公司面临来自全球用户、法律专家和监管机构的强烈反对,他们对 Meta 可能绕过 robots.txt 偏好设置和付费墙表示担忧。巴西和挪威等国已启动法律挑战和调查,英国竞争与市场管理局也在审查 Meta 的行为。

  9. TOOL · CL_340443 ·

    Mastodon 更新 robots.txt 以控制 AI 数据使用

    Mastodon 已更新其 robots.txt 文件,为 AI 爬虫提供指南。此次更新允许 AI 搜索引擎访问内容,同时明确禁止在平台数据上进行 AI 训练。此举旨在让用户更好地控制其数据如何被人工智能系统使用。

  10. COMMENTARY · CL_340070 ·

    robots.txt 提案旨在阻止所有人工智能训练机器人

    一项提案建议在 robots.txt 文件中使用单个条目来阻止所有人工智能训练机器人访问网站。该方法旨在为网站所有者提供一种统一的方式,以防止未经授权的数据抓取用于人工智能模型训练。此类措施的实施和有效性仍在讨论中。

  11. RESEARCH · CL_336025 ·

    Google、OpenAI、Microsoft、Anthropic 将遵守共享的 AI 训练退出机制 · 跟踪到 1 个来源

    包括 Google、OpenAI、Microsoft 和 Anthropic 在内的主要人工智能公司已宣布计划遵守共享的 robots.txt 信号,以实现 AI 训练退出。这项在互联网工程任务组(Internet Engineering Task Force)上讨论的倡议旨在为发布商提供一个统一的指令,用于跨参与提供商设置 AI 训练偏好。虽然 Anthropic 已开始实施,OpenAI 预计将在未来几个月内实现,而 Google…

  12. RESEARCH · CL_334582 ·

    Google、微软、OpenAI将于2027年前通过robots.txt标准化AI训练控制

    包括Google、微软和OpenAI在内的主要科技公司正在合作,以建立一种标准化方法来控制AI数据训练。他们计划在2027年前通过robots.txt实施一项通用规范,允许网站所有者明确允许或拒绝AI模型在其内容上进行训练。该举措旨在为AI开发提供更清晰的指导方针和更大的数据使用控制权。

  13. SIGNIFICANT · CL_334395 ·

    OpenAI、Google、Bing 支持 robots.txt 信号用于 AI 训练偏好 · 跟踪 7 个来源

    OpenAI、Google 和 Microsoft Bing 正在采用一项新的 robots.txt 信号 __usage_ai-training,允许网站所有者表达关于使用其内容进行 AI 模型训练的偏好。该信号旨在表达偏好,而非严格阻止,并且独立于现有的爬虫规则。虽然该标准尚在开发中,预计 Google 将于 2027 年初支持,但 AI 公司对其的采纳和执行尚未强制执行。

  14. SIGNIFICANT · CL_333319 ·

    Google, OpenAI, Anthropic, Microsoft 承诺新的 AI 抓取控制 · 跟踪 3 个来源

    Google、OpenAI、Anthropic 和 Microsoft 已承诺支持 robots.txt 文件中的一项新标准。该标准旨在阻止 AI 公司抓取网络内容来训练其模型。该举措旨在建立一个网站可以用来明确阻止 AI 数据收集的通用信号。

  15. SIGNIFICANT · CL_333309 ·

    Google、OpenAI、Anthropic 采用新的 AI 抓取控制 · 跟踪 2 个来源

    Google、OpenAI 和 Anthropic 正在采用新的 robots.txt 指令来控制 AI 训练数据抓取。该指令由 Anthropic 的 Kevin Kelley 提出,`__usage_ai-training` 用户代理将向 AI 公司发出信号,表明哪些网站不希望其内容被用于训练生成模型。虽然这可以防止未来的抓取,但不会影响已收集的数据。Microsoft 和 Google 计划在 2027 年初实施此项,而 Ope…

  16. RESEARCH · CL_332616 ·

    Google、Bing 将遵守 Robots.txt 以选择退出 AI 训练

    Google 和 Microsoft Bing 已宣布将遵守 robots.txt 协议,以防止其 AI 模型从网站内容中进行训练。此举是在一项研究表明 AI 概览显著降低了网站的点击率,并且 Bing 正在试验在其 AI 功能中投放广告之后。

  17. TOOL · CL_331860 ·

    OpenAI将遵守robots.txt以尊重AI训练数据偏好

    OpenAI正在引入一种新方法来尊重网站所有者关于AI训练数据的偏好。通过遵守共享的robots.txt信号,OpenAI旨在允许网站运营者向参与的提供商传达他们希望用于AI模型训练的数据使用方式。

  18. TOOL · CL_329840 ·

    新的 llms.txt 格式旨在引导 AI 爬虫访问关键网站页面

    llms.txt 格式是一项社区驱动的提案,旨在让网站能够向 AI 工具提供精选的重要页面列表。此 Markdown 文件通常位于网站根目录,包含网站标题、摘要以及指向特定内容区域的可选链接列表。它并非官方标准,其采用是自愿的,AI 公司没有义务将其用于排名或引用。

  19. TOOL · CL_328338 ·

    AI爬虫面临不同的robots.txt规则;Distill优先处理明确的退出选项

    Distill URL-to-Markdown API的创建者Hybrid Forge Lab分析了37个主要网站的robots.txt文件,以了解AI爬虫的待遇。他们的发现表明,虽然GPTBot和ClaudeBot等特定的AI爬虫用户代理经常被禁止,但Google-Extended和Applebot-Extended被明确阻止的情况较少。该实验室的解析器优先处理“DistillBot”的明确指令,然后检查是否禁止任何AI爬虫,以确保…

  20. COMMENTARY · CL_323620 ·

    GEO和SEO是不同的指标;代理配方提高了AI的可靠性

    一种新的生成引擎优化(GEO)方法将其与传统的搜索引擎优化(SEO)区分开来,认为GEO分数衡量内容的引用性和机器可解析性,而SEO则侧重于可抓取性和相关性。这种区别至关重要,因为优化其中一项并不能保证在另一项上取得成功,正如试图以不同程度的成功服务于这两项指标的工具所证明的那样。另外,引入了“代理配方”的概念,作为一种编码程序,通过将随机模型调用封装在确定性检查中来提高AI代理的可靠性,从而产生可预测的结果,而不是纯粹的确定性输出。