PulseAugur
实时 16:01:16
English(EN) Per-Agent Cost and Token Attribution Straight From Your Traces

LLM 成本归因:使用 OpenTelemetry 为代理追踪打标签

一位开发者概述了一种方法,通过利用 OpenTelemetry 追踪来归因与生成式人工智能代理相关的成本。该方法涉及在代理执行追踪中的 span 上添加特定属性,如代理名称、版本、功能、步骤和使用的模型。这种详细的标记实现了细粒度的成本分析,超越了人工智能服务提供商通常提供的汇总账单。通过实施这些约定,开发者可以识别哪些特定的代理操作对成本贡献最大,将账单从一个谜团转变为一个可查询的数据集。 AI

影响 支持对 LLM 代理进行细粒度的成本追踪,帮助开发者优化支出并了解使用模式。

排序理由 该项目描述了一种用于改进 LLM 应用程序的可观测性和成本归因的技术方法,这是一项工具改进。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM 成本归因:使用 OpenTelemetry 为代理追踪打标签

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Gabriel Anhaia ·

    Per-Agent Cost and Token Attribution Straight From Your Traces

    <ul> <li> <strong>Book:</strong> <a href="https://www.amazon.com/dp/B0GX35XTG6" rel="noopener noreferrer">Observability for LLM Applications — Tracing, Evals, and Shipping AI You Can Trust</a> </li> <li> <strong>Also by me:</strong> <a href="https://www.amazon.com/dp/B0GX35XTG6" …