一项对超过28,000次LLM调用的最新分析显示,绝大多数成本(约99.2%)与输入令牌相关,而非模型输出。这一发现表明,优化模型本身、提示或温度设置对总体开销影响甚微。真正的成本驱动因素是任务被重新处理或转发的次数,单个任务可能消耗约1800万个令牌,其中只有一小部分是由模型生成的。报告强调,成本取决于所使用的工具模式的具体内容,而不仅仅是可用工具的数量,这挑战了关于成本降低的普遍市场直觉。 AI
影响 强调输入令牌管理和任务重新处理是LLM应用的关键成本因素,而非模型效率本身。
排序理由 基于经验数据和可复现命令对LLM令牌成本进行的分析。[lever_c_demoted from research: ic=1 ai=1.0]
- bb7190b0
- git cat-file blob bb7190b0
- REPORTE_TOKENS.md
- /tmp/panel.md
- /tmp/ttr.json
- tools/reporte_tokens.py
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →