最近对超过 32,000 次 LLM 调用进行的分析显示，输入 token 占总 token 量的 99.13%，远超输出 token。虽然这表明大部分 token 使用量与上下文、指令和对话历史有关，但这并不一定等同于浪费支出。该分析强调了单独衡量工具定义、系统指令和对话历史等特定组件的重要性，以识别实际的优化机会，而不是仅仅依赖于整体 token 份额。 AI
影响 通过分析 token 使用量组件，为如何准确衡量和潜在降低 LLM 运营成本提供了指导。
排序理由 对 LLM token 使用模式和成本优化策略的分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p>The 99% is a measured share of token volume—not proof that 99% of dollars are wasted.</p> <p>In one five-day telemetry window, 99.13% of recorded model tokens were input tokens. That is a useful signal: the work surrounding a model’s response can dwarf the response itself.</p>…