一项对大型语言模型的最新分析显示,任务成本存在显著差异,GPT、Claude、Gemini 和 Kimi 之间的成本差异高达 10.6 倍。尽管这些模型的标价仅相差 2 倍,但成本却出现了如此大的差异。研究发现,不可见的推理 token 是导致成本差异的主要原因,这些 token 按输出速率计费,但不会显示在响应中。例如,一个模型在执行一个简单的单字分类任务时使用了 197 个不可见的 token。 AI
影响 凸显了 LLM 使用的隐藏成本,强调了超越标价进行成本优化的必要性。
排序理由 LLM 性能和成本分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →