Emily Wenger

新方法使用“Canary Tokens”识别用于 LLM 的 AI 网络爬虫

研究人员开发了一种新颖的方法，可以识别哪些大型语言模型（LLM）是在从特定网站抓取的数据上训练的。该技术涉及托管动态网站，这些网站向访问的网络爬虫提供独特的“Canary Tokens”。通过提示 LLM 并观察它们是否生成包含这些独特令牌的输出，研究人员可以推断出哪些 LLM 已经接触了来自这些站点的数据。事实证明，这种方法可以可靠地识别用于 22 个不同 LLM 系统的爬虫，包括一些公司未公开披露的系统，从而为第三方提供了了解 L…