使用大型语言模型(LLM)进行推理的成本因模型级别而异,前沿模型比小型开源模型贵得多。由于并行化,输入token的处理成本较低,而输出token由于是顺序生成的,成本更高。Anthropic和OpenAI等提供商的输出token定价约为输入token的五倍,缓存的输入成本甚至更低。LLM工作负载的总成本取决于准确计算每种token类型并乘以其各自费率,代理循环由于重复的上下文作为输入发送,可能会产生高昂的成本。 AI
影响 了解token定价级别对于优化LLM应用程序成本至关重要,特别是对于基于代理的系统。
排序理由 基于提供商定价和工作负载建模的LLM推理成本分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →