Point of Light

Meta AI 爬虫耗尽小型社区网站资源

Meta 的 AI 网络爬虫通过发出过多的请求，对小型、志愿者运营的社区网站造成了不成比例的影响，导致网站所有者托管成本增加。作者经营着 LGBT History Project 网站，发现一个 Meta 爬虫在一日半内发出了超过 230,000 次请求，消耗了该网站近一半的带宽并使其产生费用。这种行为源于 AI 对所有 URL 的不加区分地抓取，包括低价值的重复内容和机器生成的页面，如编辑历史和差异页面，而更复杂的爬虫会忽略这些。