最近对 robots.txt 文件的分析显示,许多网站无意中允许 GPTBot 等 AI 爬虫广泛访问。根据 RFC 9309,robots.txt 中明确指定的爬虫应忽略通用的禁止访问规则。然而,研究发现,在试图阻止 AI 爬虫访问某些路径的 1,105 个网站中,有 329 个实际上允许了它们的访问,通常是访问网站搜索和登录页面等敏感区域。 AI
影响 robots.txt 中的配置错误可能导致敏感网站数据暴露给 AI 爬虫。
排序理由 对 robots.txt 文件的分析揭示了 AI 爬虫的意外访问权限。[lever_c_demoted from research: ic=1 ai=0.4]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →