token tax

AI代理通过原始HTML网络访问面临7倍Token税

一位开发者测量了AI代理访问网页时产生的显著Token开销，发现原始HTML消耗的Token量可能高达实际文本内容的七倍。这些标记语言，包括脚本和CSS，会用噪音填充上下文窗口并增加成本，其中一个页面在原始Token上花费了0.55美元，而在清理后仅花费0.078美元。一个使用标准库和`tiktoken`分词器的简单Python脚本可以剥离这些不必要的标记语言，从而大大减少Token使用量和成本。