Baiduspider

AI爬虫无视robots.txt，尝试扫描数据库

观察到包括Anthropic的Claude和OpenAI的GPT机器人等在内的多个AI驱动的网络爬虫，无视robots.txt指令并试图扫描数据库。这些机器人，以及来自百度、亚马逊、Meta和Yandex的其他机器人，均被服务器管理员阻止。管理员表示沮丧，称这些大公司试图窃取资源，并且这些机器人的同时涌现可能导致服务器无法使用，并引用了他们PieFed服务器最近的一次事件。