SubscriptionId

Azure API Management 为 LLM 令牌使用情况跟踪添加策略

Azure API Management 引入了一项新策略 llm-emit-token-metric，旨在自动跟踪和报告 LLM 驱动的 API 的令牌使用情况。此策略将提示令牌、完成令牌和总令牌等指标发送到 Application Insights。捕获的数据允许进行详细的成本跟踪、使用情况监控和异常检测，并直接集成到 APIM 请求管道中。工程团队可以利用此遥测数据来构建 FinOps 仪表板并强制执行对 LLM 使用情况的治理。