PulseAugur
实时 04:34:39
日本語(JA) AIが無人で書き溜めた社内ドキュメント1,355本をDiátaxisで仕分けたら、3割が自社のドキュメントですらなかった

AI生成文档分析:32%为无关内容,缺少教程

对1355份AI生成的内部文档的分析显示,超过30%的内容并非原创,而是工具生成的文件。在移除这些无关文件后,剩余的917份文档使用Diátaxis框架和本地LLM(qwen3.5:latest)进行了分类。结果显示,参考类和解释类文档存在严重偏差,而教程类文档则完全缺失,这反映了AI代理需要事实检索和理解,而非循序渐进的学习。该过程还发现了一个文档处理脚本中的错误,该错误错误地将隐藏目录中的文件进行了分类。 AI

影响 强调了AI生成内容的性质以及分析前数据验证的重要性。

排序理由 使用特定框架和LLM对AI生成内容进行分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AI生成文档分析:32%为无关内容,缺少教程

报道来源 [1]

  1. dev.to — LLM tag TIER_1 日本語(JA) · bigkijimon ·

    当使用 Diátaxis 对 1,355 份未经人工干预的 AI 生成文档进行排序时,30% 的文档甚至不是公司文档。

    <p>Claude Codeに無人でドキュメントを書かせ続けて数か月経つと、「うちのナレッジベースは今どんな型に偏っているのか」が気になった。答え合わせに <a href="https://diataxis.fr/" rel="noopener noreferrer">Diátaxis</a>(Tutorials / How-to guides / Technical reference / Explanation の4分類フレームワーク)を使い、自社リポジトリの Markdown をローカルLLMで全数分類した。結果は「tutorial型が0.0%」と…