LLM 成本仪表板通常会报告按模型或按千次调用计算的支出，但无法回答产品所有者关于每次用户操作成本的问题。这是因为单个用户操作可能会触发多次 LLM 调用，并且提供商的性能下降可能通过重试增加调用次数。为解决此问题，作者提出使用 OpenTelemetry 跟踪将唯一的操作 ID 传播到所有相关的 LLM 调用中。这可以实现对特定用户操作的准确成本归因，从而提供更早、更具可操作性的支出高峰和提供商性能洞察。 AI
影响 能够更准确地管理 LLM 驱动的应用程序的成本和监控性能。
排序理由 该条目讨论了一种改进 LLM 成本跟踪的技术方法，提供了关于最佳实践的意见，而不是宣布新产品或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
