最近的一项分析比较了七种数据格式在LLM提示中的token使用情况,发现漂亮的JSON比CSV消耗的token多约三倍。这种差异归因于重复的键、标点符号和不必要的缩进,这些都会增加token数量,但对模型没有好处。研究建议在提示中使用CSV或TSV来处理简单的表格数据,使用最小化JSON来处理结构化输出,使用Markdown来处理人类可读的表格,同时建议不要在提示中使用漂亮的JSON和XML,以优化成本。 AI
影响 优化提示格式可以显著降低LLM的运营成本并提高效率。
排序理由 对LLM提示数据格式token效率的分析。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →