gpt-4o-2024-11-20

LLM成本归属：按功能和租户跟踪支出

本文提出了一种在应用程序内详细归属大型语言模型（LLM）使用成本的方法。它建议通过添加自定义属性，如“app.feature”和“app.tenant_id”，来增强现有的跟踪数据，以识别是哪些特定功能或客户在驱动LLM支出。该方法利用OpenTelemetry约定，并主张在LLM调用时计算成本，而不是仅仅依赖提供商的账单仪表板，从而在无需大量代码重写的情况下实现更精细化的财务洞察。