hitmind.ai

由于 robots.txt 配置错误，AI 爬虫获得了对网站的意外访问权限

最近对 robots.txt 文件的分析显示，许多网站无意中允许 GPTBot 等 AI 爬虫广泛访问。根据 RFC 9309，robots.txt 中明确指定的爬虫应忽略通用的禁止访问规则。然而，研究发现，在试图阻止 AI 爬虫访问某些路径的 1,105 个网站中，有 329 个实际上允许了它们的访问，通常是访问网站搜索和登录页面等敏感区域。