在调用大型语言模型（LLM）之前估算其成本，已被证明是实施支出上限不可靠的方法。最近使用 OpenRouter 和 `openai/gpt-oss-20b:free` 模型进行的实验显示，调用前的估算非常不准确，尤其是在未指定 `max_tokens` 的调用中，成本常常被严重低估。这种不准确性意味着，收紧上限以防止超支也会阻止合法的调用，而放宽上限以允许有效使用则会允许那些不受限制且昂贵的调用，而上限本应阻止这些调用。最有效的方法似乎是在每次调用后进行成本对账，并在达到累计上限时停止，接受单次调用可能超支作为功能性预算管理的权衡。 AI
影响 突显了 AI 开发人员和企业在管理 LLM 支出方面面临的关键运营挑战，并提出了一种更可靠的基于对账的方法。
排序理由 文章讨论了 LLM API 调用成本估算的实际挑战和局限性，并就替代解决方案提出了观点。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
