一篇博文详述了一种分析网站服务器日志的方法，以识别哪些大型语言模型（LLM）爬虫正在访问特定文件，例如“llms.txt”和“llms-full.txt”。该过程包括过滤 Nginx 访问日志以隔离对这些文件的请求，然后对用户代理进行分组和计数，将它们归类为已知的机器人，如 GPTBot、ClaudeBot、PerplexityBot 和 Googlebot，以及一个通用的“其他”类别。这种分析可以直接了解这些与 AI 相关的机器人的流量模式，而无需依赖仪表板。 AI
影响 提供了一种了解哪些 AI 爬虫正在访问特定网络内容的方法。
排序理由 博文解释了一种分析网站服务器日志的技术方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Checking who touches llms.txt in practice /llms.txt and /llms-full.txt have been live on richardlemon.com for a while. The obvious next question: who, if anyone, is actually requesting them? One way to approach that is to look at the web server logs directly. No dashboards, no vi…
<h2>Checking who touches <code>llms.txt</code> in practice</h2> <p><code>/llms.txt</code> and <code>/llms-full.txt</code> have been live on richardlemon.com for a while. The obvious next question: who, if anyone, is actually requesting them?</p> <p>One way to approach that is to …