Federal Environment Agency

LLM网页token成本：原始HTML效率低下，Markdown节省98%

一项研究测量了检索增强生成（RAG）管道和AI代理处理网页的token成本。研究结果表明，原始HTML网页的token效率非常低下，中位数为约128,000个token。将这些网页转换为面向LLM的Markdown格式，在仅提取主要内容并进行进一步清理后，与原始HTML相比，token数量中位数减少了98%，与整页文本相比减少了63%。研究强调，主要内容提取是减少token使用的最有效步骤，节省量因网页结构而异。