对阻止AI训练爬虫的网站进行的最新分析表明，许多这些网站并未有效实施或遵守其自身的阻止机制。这项研究检查了robots.txt文件的使用情况，发现相当一部分旨在阻止AI数据抓取的网站基本上是无效的。这表明这些网站限制AI训练数据访问的意图与其实际技术实施之间存在差距。 AI
影响 突显了AI数据来源策略中可能存在的漏洞，表明当前的网站保护措施不足。
排序理由 对网站关于AI训练爬虫行为的分析，而非直接发布或政策变更。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Sites that block AI training crawlers mostly ignore the answer time bots https:// sitedex.dev/insights/robots-tx t-2023-war-memorial # ai
Sites that block AI training crawlers mostly ignore the answer time bots https://sitedex.dev/insights/robots-txt-2023-war-memorial # HackerNews # Tech # AI