研究人员开发了一种新颖的方法，可以识别哪些大型语言模型（LLM）是在从特定网站抓取的数据上训练的。该技术涉及托管动态网站，这些网站向访问的网络爬虫提供独特的“Canary Tokens”。通过提示 LLM 并观察它们是否生成包含这些独特令牌的输出，研究人员可以推断出哪些 LLM 已经接触了来自这些站点的数据。事实证明，这种方法可以可靠地识别用于 22 个不同 LLM 系统的爬虫，包括一些公司未公开披露的系统，从而为第三方提供了了解 LLM 数据来源的途径。 AI
影响 这种方法可以更好地控制用于 LLM 训练数据的非预期网络抓取，可能会影响数据采集策略。
排序理由 该集群描述了一篇详细介绍识别 AI 网络爬虫的新颖技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- canary tokens
- Emily Wenger
- Hugging Face
- large language models
- robots.txt
- user agent
- web scrapers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
