csv module

LLM tokenization 成本：Python 的浮点数和时间戳格式效率低下

对 LLM tokenization 成本的分析表明，数值数据，特别是浮点数和时间戳，会消耗不成比例的 token 数量。作者演示了这些值 Python 的默认字符串表示形式，通常包含许多小数位，会导致 tokenization 效率低下。通过实现一个自定义 CSV 处理脚本，该脚本缩短时间戳并将数值数据四舍五入到适当的精度，可以显著减少 token 数量，从而在与 LLM 交互时节省成本。