Yap Pat Yih

AI 爬虫忽略提议的 llms.txt 文件，偏好 robots.txt 和站点地图

一项为期 30 天的测试显示，Cloudflare 识别的 AI 爬虫在网站上并未访问提议的 `/llms.txt` 或 `/llms-full.txt` 文件。同期，这些爬虫频繁访问了 `robots.txt` 和站点地图等标准文件。旨在让 AI 工具快速了解网站内容的 `/llms.txt` 文件被发现未被 AI 机器人读取，这表明当前的 AI 爬虫在站点发现和信息收集方面更倾向于传统方法。