由于格式化相关的 token 成本,使用 JSON 从大型语言模型输出数据可能比使用 CSV 贵得多。例如,美化打印的 JSON 由于缩进和重复的键名,成本可能比相同数据的 CSV 高 2.6 倍。虽然将键名重命名为更短的别名可以降低成本,但会影响可读性。对于批量数据提取任务,特别是记录较短的情况下,切换到 CSV 或制表符分隔值 (TSV) 可以大大节省 API 调用成本,尽管 JSON 在输出单个对象或当特定工具调用功能需要使用它时仍然是首选。 AI
影响 将批量数据输出从 JSON 切换到 CSV 可以显著降低 LLM API 成本,特别是对于记录较短的情况。
排序理由 该条目分析了使用不同数据格式与 LLM 相关的成本影响,而不是宣布新模型或产品。
- CSV
- csv.DictWriter
- generative pre-trained transformer
- JSON
- json.dumps
- json.loads
- o200k_base
- OpenAI
- tiktoken
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →