进行了一项实验，以测试 Perplexity-Bot 对网站管理员指令的遵守情况。该机器人获得了防火墙访问权限，尽管可以访问 robots.txt，但它并未遵守 crawl-delay 指令。实验的结论是，该机器人不用于生成式 AI 训练，而是用作索引器。 AI
影响 此事件凸显了网络爬虫合规性方面可能存在的问题，影响了 AI 索引服务与网站资源交互的方式。
排序理由 该条目描述了特定机器人在网络爬行指令方面的行为，属于工具或基础设施类别，而不是核心 AI 发布或重大行业事件。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
