PulseAugur
实时 18:47:30
English(EN) A permissive robots.txt is not a licence

网站未能授予明确的 AI 内容再利用许可

对十个网站进行的近期审计显示,其中八个网站并未明确授予商业再利用其内容的许可,尽管其中一些网站拥有允许性的 robots.txt 文件。作者区分了 robots.txt 文件(管理机器人访问)和许可(规定重新发布权)。虽然 Troy Hunt 的网站等提供清晰的许可,但 Julia Evans 的网站等明确禁止 LLM 抓取,而 The Pragmatic Engineer 则为 AI 训练提供了机器可读信号。作者强调,许可检查应在数据摄取时进行,而不是在内容已被抓取和存储之后。 AI

影响 强调了 AI 训练数据明确许可条款的关键需求,可能影响 AI 模型的开发方式以及它们可以合法使用的数据来源。

排序理由 该条目是一篇评论文章,讨论了网站许可对 AI 抓取和内容再利用的影响,而不是直接的发布或政策变更。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

网站未能授予明确的 AI 内容再利用许可

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Marco ·

    允许的 robots.txt 不是许可

    <p>I have a scraper that watches ten sites I consider adjacent to my work. It has been running since early July. The output goes into a vector store that nothing currently reads, which is the only reason this story ends without a lawyer in it.</p> <p>I audited those ten sources t…