/llms.txt
PulseAugur coverage of /llms.txt — every cluster mentioning /llms.txt across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
AI 代理通过 Markdown 转换和内容协商获得更清晰的文档
两个开发团队正在探索使文档对 AI 代理和检索增强生成(RAG)管道更易于访问的方法。第一个团队 Greenrun 开发了一个名为 Website to Markdown 的工具,该工具将整个网站(包括 PDF 和 Word 文件等链接文档)转换为干净的 Markdown 格式和一个合并的 llms.txt 文件。第二个团队 PerfectVector 专注于提供其 API 文档的 Markdown 版本,并利用内容协商将这些文件直接…
-
Schema 标记和 llms.txt 对 AI 引用的影响很小
对 AI 引用数据的最新分析表明,Schema 标记和 llms.txt 文件都不会显著影响 AI 引擎是否引用某个网页。涉及已自然排名的页面的测试显示,Schema 标记在被引用和未被引用页面上的出现率几乎相同。同样,对 llms.txt 的研究发现,AI 机器人很少请求该文件,并且它的存在并不会提高域名的引用频率。
-
网站对 AI 爬虫的准备情况参差不齐,许多网站阻止了爬虫
对 100 个知名网站的研究显示,AI 爬虫的准备情况各不相同。虽然 38% 的网站提供了 `llms.txt` 文件,但在开发者工具中比新闻或消费者网站更常见。此外,25% 的网站通过其 `robots.txt` 文件阻止了至少一个主要的 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot),其中新闻网站阻止 ClaudeBot 的比例尤其高。研究还注意到网站如何配置对搜索引擎爬虫和用于基础模型训练的爬虫的访问…
-
指南解释如何为 AI 工具创建 `llms.txt`
一份指南解释了如何创建 `llms.txt` 文件,该文件可将 AI 工具指向网站最相关的页面。此过程设计为大约十分钟内完成,不保证特定引用。
-
AI 购物优惠验证器上线,打击虚高价格
Savlume 是一个新推出的、由 AI 驱动的购物优惠验证器,旨在打击虚高的参考价格和过时的优惠信息。该平台提供了一个机器可读的目录,包括 llms.txt 索引和 MCP 端点,允许 AI 代理直接查询和验证优惠价格。这种方法旨在确保 AI 代理能够引用带有时间戳的真实价格,而不是生成虚假信息。
-
Aftertype采用Schema.org和llms.txt进行AI实体识别
到2026年,Aftertype专注于将网站视为结构化数据,而不仅仅是页面的集合,实施了Schema.org标记和llms.txt文件。此举旨在改善传统搜索引擎和AI系统对组织及其内容的理解方式。结构化数据包括Organization、Article和FAQPage模式,以清晰定义Aftertype的身份、内容和规范答案,超越了基础SEO,实现了作者所称的“图谱或实体优化”(GEO)。
-
AI爬虫正在检查llms.txt,但更偏爱Markdown副本
AI可见性普查(AI Visibility Census)的一项新研究追踪了三天的服务器日志,以了解AI爬虫是否正在访问一个提议的文件格式llms.txt。日志显示,Googlebot、GoogleOther和ClaudeBot发出了对llms.txt或相关文件llms-full.txt的请求,而Bingbot和Applebot则没有。然而,这些相同的爬虫抓取该网站页面的Markdown副本的频率要高得多,这表明虽然一些AI机器人正在…
-
开发人员可以通过在安装插件之前扫描页面来避免重复的 JSON-LD 数据
本文讨论了如何识别和解决网页上的重复结构化数据,特别是 JSON-LD。文章解释说,多个插件或主题生成相同类型的数据(例如 Organization 或 BreadcrumbList 节点)会给搜索引擎带来歧义。作者提供了一个 PHP 脚本来扫描网页的 JSON-LD 输出,识别重复的类型,并标记使用不同 ID 但类型相同的实例,建议在安装新插件之前审查已发布的输出,以避免此类冲突。
-
AI工具声称对代理友好,但很少有实现 · 跟踪10个来源
对167-168个AI工具的最新分析显示,尽管许多工具声称对代理友好,但很少有工具实施必要的技术措施。只有39%的工具发布了llms.txt文件,10%声明了AI爬虫政策,仅有5%暴露了mcp.json文件,这表明在AI代理可读性方面的既定意图与实际实施之间存在显著差距。
-
新arXiv论文评估AI搜索检索安全性
一篇新研究论文发布在arXiv上,探讨了清单辅助检索在AI搜索系统中的安全影响。该研究识别了潜在的威胁路径,并评估了使用清单文件(如/llms.txt)与传统检索方法结合使用的效用和安全效果。研究提出了一个框架,以区分清单内容的影响与其他因素(如发布或模型执行)的影响,并包括一项试点研究,以衡量基于所提供证据的输出变化。
-
新的AI SEO检查工具分析LLM爬虫规则和内容以获得ChatGPT排名
一款新的AI SEO检查工具已发布,提供网站的GEO审计。该工具分析AI爬虫规则、是否存在llms.txt文件、JSON-LD结构化数据以及先答内容策略。目标是帮助网站提高在AI生成搜索结果中的排名,特别是在ChatGPT等平台内。
-
Python 脚本和 Firecrawl 为 AI 代理文档地图生成提供方法
一位开发者详细介绍了两种生成 `llms.txt` 文件的方法,该文件是 AI 代理导航文档的关键组成部分。第一种方法涉及一个自定义 Python 脚本,该脚本解析 Markdown 文件及其 front matter 来创建结构化文件,可以集成到持续集成管道中进行自动更新。第二种方法使用 Firecrawl 的托管生成器,适用于实时网站或无法直接进行源代码控制的情况,但生成的描述可能需要手动调整。
-
新的 llms.txt 格式旨在引导 AI 爬虫访问关键网站页面
llms.txt 格式是一项社区驱动的提案,旨在让网站能够向 AI 工具提供精选的重要页面列表。此 Markdown 文件通常位于网站根目录,包含网站标题、摘要以及指向特定内容区域的可选链接列表。它并非官方标准,其采用是自愿的,AI 公司没有义务将其用于排名或引用。
-
AI 代理难以访问网站信息,仅 11 个平台中的 4 个提供 /llms.txt
对 11 个启动平台的测试显示,只有四个响应了对 `/llms.txt` 文件的请求,该文件旨在告知语言模型网站的内容和结构。该测试于 10 月 19 日和 10 月 29 日再次进行,结果表明情况正在发展,一些平台改变了它们的响应。Uneed 提供了最大的文件,而 BetaList 更新了其响应以包含一个组织良好的文件。Product Hunt 的响应被 Cloudflare 间歇性阻止,这凸显了 AI 代理的网站可访问性可能不一致。
-
AI、编程和 Web 开发的讨论涵盖了挑战和代理功能
该集群涵盖了围绕 AI、编程和 Web 开发的讨论,重点关注挑战和 AI 代理的性质。其中一项详细介绍了开源 AI 挑战的提交,另一项探讨了从启动平台获取数据的测试。第三项将基于规则的营销自动化与以目标为导向的 AI 代理进行了对比,并强调了潜在的代码更改。
-
AI 代理友好声明的实际落地情况滞后
最近对 166 个网站的分析显示,AI 代理友好声明与实际落地之间存在显著差距。只有 39% 的网站拥有 "llms.txt" 文件,10% 的网站指定了 AI 爬虫策略,仅有 5% 的网站提供了 "mcp.json" 文件,这表明普遍缺乏支持 AI 代理的具体措施。
-
GEO和SEO是不同的指标;代理配方提高了AI的可靠性
一种新的生成引擎优化(GEO)方法将其与传统的搜索引擎优化(SEO)区分开来,认为GEO分数衡量内容的引用性和机器可解析性,而SEO则侧重于可抓取性和相关性。这种区别至关重要,因为优化其中一项并不能保证在另一项上取得成功,正如试图以不同程度的成功服务于这两项指标的工具所证明的那样。另外,引入了“代理配方”的概念,作为一种编码程序,通过将随机模型调用封装在确定性检查中来提高AI代理的可靠性,从而产生可预测的结果,而不是纯粹的确定性输出。
-
llms.txt 格式更新至 v2,增强了代理可发现性
llms.txt 文件格式已更新至 2.0 版本,允许其驻留在任何文件路径,并加入了链接关系以便代理更容易发现。此修订版还比以前的版本执行了更严格的格式规则。
-
Citewren工具检查并起草AI助手的`llms.txt`
Citewren是一款新工具,旨在帮助开发者和网站所有者确保其`llms.txt`文件符合`llmstxt.org`标准。该工具会检查诸如标题、摘要行和页面链接等基本要素,同时识别常见错误,例如提供HTML内容而非预期的Markdown文件。Citewren提供免费的基础检查服务,以及包含根据网站站点地图生成的`llms.txt`草稿的付费版本。
-
AI工具声称对代理友好,但很少有实施基本的读取措施 · 追踪6个来源
对166个AI工具的最新分析显示,尽管许多工具声称对代理友好,但只有一小部分实施了确保AI代理可读性的基本措施。具体来说,39%发布了llms.txt文件,10%声明了AI爬虫政策,而仅有5%暴露了mcp.json文件,这表明了声明意图与实际实施之间存在差距。