English(EN) Monitoring LLM API Calls in Python: Latency, Token Usage, and Cost Tracking With OpenTelemetry

LLM 通过工具使用获得自主性；Python 监控获得可观测性

作者 PulseAugur 编辑部 · [2 个来源] · 2026-05-11 10:09

第一篇文章详细介绍了如何通过函数调用和结构化工具使大型语言模型 (LLM) 能够与外部系统进行交互，将它们转变为自主代理。文章概述了使用清晰的模式定义工具，以及一个用于生成响应、检查工具调用、执行它们并将结果反馈回去的标准循环。第二篇文章解决了在 Python 中监控 LLM API 调用的挑战，强调了标准监控工具无法捕获的可变延迟、Token 使用量和成本等独特方面。文章提出使用 OpenTelemetry 来检测这些调用，从而能够跟踪延迟、Token 消耗、估计成本和完成原因，以获得更好的运营可见性。 AI

影响通过集成外部工具，使开发人员能够构建更强大的 LLM 应用程序，并提供关键的可观测性来管理 LLM API 使用。

排序理由该集群讨论了 LLM 工具使用和监控的技术模式，属于人工智能应用的研究与开发范畴。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

dev.to — LLM tag TIER_1 English(EN) · 丁久 · 2026-05-12 08:52

工具使用模式：函数调用、结构化工具、多步推理

<blockquote> This article was originally published on <a href="https://dingjiu1989-hue.github.io/en/ai/tool-use-patterns.html" rel="noopener noreferrer">AI Study Room</a>. For the full version with working code examples and related articles, visit the original post.</…
dev.to — LLM tag TIER_1 English(EN) · Temitope · 2026-05-11 10:09

使用 Python 监控 LLM API 调用：通过 OpenTelemetry 进行延迟、Token 使用量和成本跟踪

LLM API calls are unlike any other external dependency in your Python application. A database query takes milliseconds. A Redis call takes microseconds. An LLM call takes anywhere from half a second to thirty seconds, consumes a variable number of tokens on every invoca…

报道来源 [2]

工具使用模式：函数调用、结构化工具、多步推理

使用 Python 监控 LLM API 调用：通过 OpenTelemetry 进行延迟、Token 使用量和成本跟踪

相关实体

相关话题