PulseAugur
中
实时 13:40:54
English(EN) Nobody with a crawler token asked for my llms.txt - what I saw in 15 days of nginx logs

AI 爬虫忽略了自定义 LLM 上下文文件，日志显示

作者 PulseAugur 编辑部 · [1 个来源] ·

一位个人网站所有者分析了 15 天的 nginx 日志，以查看是否有任何 AI 爬虫访问了他们的 /llms.txt 和 /llms-full.txt 文件，这些文件为语言模型总结了网站。尽管有来自具有已知爬虫令牌（如 GPTBot 和 ClaudeBot）的机器人的 46,000 多次请求，但没有一个访问了这些特定文件。相反，所有 67 次对上下文文件的请求都来自非爬虫客户端，主要是像 curl 这样的命令行 HTTP 客户端。 AI

影响 表明 AI 爬虫可能没有按网站所有者预期的那样访问特定于 LLM 的自定义数据文件。

排序理由 博客文章分析 Web 服务器日志以了解 AI 爬虫行为。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AI 爬虫忽略了自定义 LLM 上下文文件，日志显示

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Commentary
博客文章分析 Web 服务器日志以了解 AI 爬虫行为。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
Standard
On-topic for AI-industry coverage; kept in the public index.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Evgenii Arsentev ·

    没有人使用爬虫令牌请求我的 llms.txt - 我在 15 天的 nginx 日志中看到了什么

    <p>I run a digital health startup as CEO (and a personal site, arsentev.ai, about practical AI). I put /llms.txt and /llms-full.txt on my site, and I wanted to see who actually reads them.</p> <p>The two files are a plain-text summary of the site for language models. They were fi…

相关实体

相关话题