本文提出了一种在应用程序内详细归属大型语言模型（LLM）使用成本的方法。它建议通过添加自定义属性，如“app.feature”和“app.tenant_id”，来增强现有的跟踪数据，以识别是哪些特定功能或客户在驱动LLM支出。该方法利用OpenTelemetry约定，并主张在LLM调用时计算成本，而不是仅仅依赖提供商的账单仪表板，从而在无需大量代码重写的情况下实现更精细化的财务洞察。 AI
影响 能够按功能和租户对LLM支出进行精细跟踪，从而改善AI应用程序的成本管理和资源分配。
排序理由 本文描述了一种改进LLM使用情况的可观测性和成本管理的技术方法，这是面向开发人员和运维团队的工具级改进。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
