OpenInference

开发者详解如何通过自定义 Span 属性来跟踪 LLM 成本

一位开发者详细介绍了如何在 OpenTelemetry 中实现自定义 Span 属性，以更有效地跟踪大型语言模型 (LLM) 的成本。通过向 Span 添加诸如 `team.id`、`feature.id` 和 `llm.model` 等属性，组织可以在成本显著影响账单之前，按团队或按功能等细粒度级别识别成本回归。这种利用 Tempo 和 Grafana 等工具进行查询和告警的方法，在捕获意外成本飙升方面，比标准的 Trace 级别调…