由于基于 token 的计费和数据库舍入,开发人员在内部 LLM 成本日志与实际供应商发票之间遇到了显著的差异。许多 LLM 调用成本不到一美分,在标准的十进制日志记录中会被舍入为 0.00 美元,导致对某些功能的成本产生错误的零成本印象。不同模型的每 token 成本差异巨大,即使 token 数量的微小变化也会极大地改变记录的成本,而实际成本则会增量变化,这使得问题更加复杂。为解决此问题,建议开发人员将成本以微美元(百万分之一美元)为单位存储为整数,仅在生成报告时进行一次舍入,而不是对每笔单独的交易进行舍入。 AI
影响 开发人员必须调整成本跟踪机制以准确反映 LLM 支出,防止预算超支并实现更好的资源管理。
排序理由 文章讨论了 LLM 使用的日志记录和计费的实际问题,并提供了一个技术解决方案。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →