在代理循环中使用大型语言模型的成本常常被低估，因为重试是根据整个对话上下文计费的，而不仅仅是失败的调用。这意味着一次失败的尝试（它会添加到对话历史中）会显著增加后续成功尝试的成本。作者建议应根据每次正确答案的成本来计费，而不是按次调用计费，因为这个指标更能反映真实费用，并且不会被那些先失败后恢复的模型所掩盖。建议在重试尝试时记录上下文 token 数量，以准确跟踪费用。 AI
影响 强调了 LLM 代理开发中一个关键但常被忽视的成本因素，敦促开发人员跟踪每次重试的上下文 token 使用量。
排序理由 该条目讨论了 LLM 使用成本和计费的一个细微方面，提供了观点和分析，而不是宣布新产品、研究或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
