PulseAugur
中
实时 22:36:58
English(EN) Does llms.txt work? In 30 days, no AI crawler read mine

AI 爬虫忽略提议的 llms.txt 文件，偏好 robots.txt 和站点地图

作者 PulseAugur 编辑部 · [1 个来源] ·

一项为期 30 天的测试显示，Cloudflare 识别的 AI 爬虫在网站上并未访问提议的 `/llms.txt` 或 `/llms-full.txt` 文件。同期，这些爬虫频繁访问了 `robots.txt` 和站点地图等标准文件。旨在让 AI 工具快速了解网站内容的 `/llms.txt` 文件被发现未被 AI 机器人读取，这表明当前的 AI 爬虫在站点发现和信息收集方面更倾向于传统方法。 AI

影响 表明当前的 AI 爬虫在站点理解方面，优先采用 robots.txt 和站点地图等传统方法，而非 llms.txt 等新提议。

排序理由 该条目基于个人实验和观察，讨论了 AI 爬虫的提议方法是否有效，而非正式发布或研究论文。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AI 爬虫忽略提议的 llms.txt 文件，偏好 robots.txt 和站点地图

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Commentary
该条目基于个人实验和观察，讨论了 AI 爬虫的提议方法是否有效，而非正式发布或研究论文。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Yap Pat Yih ·

    llms.txt 有效吗？30天内，没有 AI 爬虫读过我的

    <p><em>First published on <a href="https://yappatyih.com/writing/does-llms-txt-work/" rel="noopener noreferrer">yappatyih.com</a>.</em></p> <h2> TL;DR </h2> <p>llms.txt is a plain text file at the root of a website that names the site, sums it up in a line and lists its main page…

相关实体

相关话题