richardlemon.com

博文详述追踪 LLM 机器人访问网络内容的方法

一篇博文详述了一种分析网站服务器日志的方法，以识别哪些大型语言模型（LLM）爬虫正在访问特定文件，例如“llms.txt”和“llms-full.txt”。该过程包括过滤 Nginx 访问日志以隔离对这些文件的请求，然后对用户代理进行分组和计数，将它们归类为已知的机器人，如 GPTBot、ClaudeBot、PerplexityBot 和 Googlebot，以及一个通用的“其他”类别。这种分析可以直接了解这些与 AI 相关的机器人的…