PulseAugur
中
实时 07:35:43

新的代理工具使用 OpenTelemetry 跟踪 Gemini LLM 调用

作者 PulseAugur 编辑部 · [1 个来源] ·

一个名为 Agent Traced LLM Proxy 的新工具已被开发出来，用于提供对 LLM 调用的可见性，特别是通过 Vertex AI 对 Gemini 模型进行可见性。该代理与 OpenTelemetry 集成，为每个请求生成跟踪跨度，有助于调试、性能分析和理解应用程序中的 LLM 行为。该工具可以通过流式 HTTP 或 Agent-to-Agent 通信访问，并通过 Nevermined 微支付进行计量。 AI

影响 增强了使用 LLM 构建应用程序的开发人员的可观察性，有助于调试和性能调优。

排序理由 这是面向开发人员的新产品/工具发布。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · mikerawsonnz ·

    Traced LLM Proxy：Gemini 结合 OpenTelemetry 与 Trace IDs

    <h2> Tracing Your LLM Calls with the Agent Traced LLM Proxy </h2> <p>In the world of AI-powered applications, understanding the inner workings of your LLM calls is crucial for debugging, performance optimization, and gaining insights. While LLMs offer incredible capabilities, the…

相关实体

相关话题