PulseAugur
中
实时 05:17:39

Azure API Management 为 LLM 令牌使用情况跟踪添加策略

作者 PulseAugur 编辑部 · [1 个来源] ·

Azure API Management 引入了一项新策略 llm-emit-token-metric，旨在自动跟踪和报告 LLM 驱动的 API 的令牌使用情况。此策略将提示令牌、完成令牌和总令牌等指标发送到 Application Insights。捕获的数据允许进行详细的成本跟踪、使用情况监控和异常检测，并直接集成到 APIM 请求管道中。工程团队可以利用此遥测数据来构建 FinOps 仪表板并强制执行对 LLM 使用情况的治理。 AI

影响 增强了与 Azure 集成的 LLM 驱动的应用程序的成本和使用情况管理。

排序理由 这是现有产品的一项新功能/策略，而不是核心 AI 版本或重要的行业事件。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Azure API Management 为 LLM 令牌使用情况跟踪添加策略

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · shailugit ·

    APIM-Track 和计算 LLM Token 用量

    <p>The llm-emit-token-metric policy in Azure API Management enables the automatic emission of custom LLM token‑usage metrics to <strong>Application Insights</strong> . These metrics include prompt tokens, completion tokens, and total tokens, depending on the capabilities of the u…

相关实体

相关话题