Meta 的 AI 网络爬虫通过发出过多的请求,对小型、志愿者运营的社区网站造成了不成比例的影响,导致网站所有者托管成本增加。作者经营着 LGBT History Project 网站,发现一个 Meta 爬虫在一日半内发出了超过 230,000 次请求,消耗了该网站近一半的带宽并使其产生费用。这种行为源于 AI 对所有 URL 的不加区分地抓取,包括低价值的重复内容和机器生成的页面,如编辑历史和差异页面,而更复杂的爬虫会忽略这些。 AI
影响 凸显了 AI 开发对小型在线社区和个人造成的外部成本。
排序理由 该条目是关于 AI 爬虫对小型网站影响的个人陈述和观点文章,而不是直接的公告或研究发现。
- British Library
- LGBT History Project
- MediaWiki
- Meta
- Point of Light
- Wikipedia
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →