Website to LLM Markdown

单个文档页面可能消耗RAG Token预算的一半

最近对六个热门文档网站的爬取显示，单个页面可能会消耗检索增强生成（RAG）系统Token预算的很大一部分。分析发现，版本历史页面、大量表格和教程通常会占据Token数量的大头。此外，翻译成多种语言的文档可能会不成比例地增加爬取量，即使目标输出语言是英语，非英语版本也可能被索引。作者建议过滤掉更新日志、发布说明和大型页面，并指定目标语言，以优化RAG索引。