OpenTelemetry
PulseAugur coverage of OpenTelemetry — every cluster mentioning OpenTelemetry across labs, papers, and developer communities, ranked by signal.
- founded by Cloud Native Computing Foundation 90%
- used by Langfuse 70%
- used by Grafana 70%
- used by LiteLLM 70%
- used by Datadog 70%
- used by Jaeger 70%
- uses langsmith 70%
- used by langsmith 70%
- affiliated with Cloud Native Computing Foundation 70%
- used by honeycomb 70%
- used by Azure OpenAI 70%
- competes with Langfuse 70%
15 天有情绪数据
-
AI 应用云原生可观测性入门指南
由 Tiffany Jernigan 主持的会议，重点关注云原生可观测性，使用 OpenTelemetry、分布式追踪和 Grafana。该演示旨在通过将这些概念应用于由 AI 驱动的多服务应用程序来为初学者揭开它们的神秘面纱。
-
多智能体AI系统的可观测性详解
多智能体系统的可观测性对于理解AI智能体的复杂交互和决策过程至关重要。与关注线性指标的传统监控不同，智能体可观测性需要捕获详细的执行图、提示链和令牌使用情况，以调试问题、优化性能和管理成本。实施此方法涉及对LLM客户端和智能体框架进行插桩，以发出标准化的遥测数据，例如跟踪 lineage 和提示跟踪，这通常由 DNotifier 等专用平台提供支持。
-
LLM追踪工具简化了不正确AI输出的调试过程
调试LLM输出需要强大的追踪工具，这些工具能够捕获从提示组装到工具执行和检索到的块的完整请求生命周期。Helicone、LangSmith、Langfuse、Future AGI和Braintrust等工具提供了应对这一挑战的不同方法。有效调试的关键功能包括检索特定请求追踪记录的速度、捕获信息的粒度（例如，检索到的上下文、工具输入/输出、令牌计数）以及与OpenTelemetry等标准的集成，以便跨不同系统组件获得统一视图。
-
AI 代理的可靠性取决于可观测性，而非仅仅是模型
AI 代理的可靠性取决于其可观测性层，而不仅仅是使用的模型或提示。一个每天处理 10,000 份工作列表的管道在使用 GPT-4 函数调用时，最初缺乏适当的日志记录，导致在一次无声的模型更新后出现三天的数据损坏和成本浪费。实施结构化日志记录，包括跟踪 ID、令牌计数和每次 LLM 调用的成功标志，揭示了延迟变化和某些列表的高成本问题，从而能够进行提示截断和令牌限制，从而节省了开支并提高了性能。
-
AI可观测性成为数据工程师的关键技能
日益复杂的AI系统需要强大的可观测性，这项技能正成为数据工程师的关键。针对监控AI应用（包括LLMs和AI代理）的独特挑战，相关的工具和平台正在涌现。这些解决方案旨在为AI消费提供结构化数据，超越原始日志，提供对性能、成本和可靠性的洞察。
-
JFrog 开发者报告使用 Boost CLI 工具显著节省 token
JFrog 的一位开发者分享了他们使用 Boost 的经验，Boost 是一款 CLI 工具，旨在压缩命令输出，然后再将其发送到 LLM 代理或 CI 管道。据报道，该工具压缩了 2.12 亿个 token，在 964 次对话中为该开发者节省了约 1,060 美元。当由 JFrog CIO 团队的十二名开发者全部使用时，估计总节省额约为 9,000 美元。Boost 的工作原理是包装命令、捕获并压缩其输出，然后发出 OpenTelem…
-
LLM 成本归因：使用 OpenTelemetry 为代理追踪打标签
一位开发者概述了一种方法，通过利用 OpenTelemetry 追踪来归因与生成式人工智能代理相关的成本。该方法涉及在代理执行追踪中的 span 上添加特定属性，如代理名称、版本、功能、步骤和使用的模型。这种详细的标记实现了细粒度的成本分析，超越了人工智能服务提供商通常提供的汇总账单。通过实施这些约定，开发者可以识别哪些特定的代理操作对成本贡献最大，将账单从一个谜团转变为一个可查询的数据集。
-
LLM 可观测性工具跟踪 token、成本和护栏
调试缓慢或昂贵的 LLM 调用需要专门的可观测性工具，超越标准的 APM 指标。需要监控的关键因素包括 token 数量、每个模型的成本、护栏开销以及详细的提示级信息。跟踪应包含每次跳转的输入/输出 token、成本和延迟，最好通过 OpenTelemetry 输入到 Langfuse 或 SigNoz 等现有平台。护栏性能，如阻止率和增加的延迟，也值得单独跟踪以管理运营费用。
-
OpenTelemetry 集成 LLM 网关以增强 AI 可观测性
OpenTelemetry 是一个用于收集遥测数据的厂商无关框架，目前正与 LLM 网关集成，以增强复杂 AI 系统的可观测性。此集成允许对从用户界面到后端服务和 AI 模型交互的分布式应用程序中的请求进行标准化跟踪。通过提供整个请求生命周期的统一视图，开发人员可以更轻松地查明 AI 驱动功能的延迟或不准确的根本原因。
-
OpenTelemetry 标准化 LLM 追踪，用于调试复杂的 AI 应用
分布式追踪对于调试和优化 LLM 驱动的应用程序至关重要，这些应用程序经常会静默失败，返回错误但看似自信的答案。通过记录请求在各个组件中的旅程，追踪将不透明的系统转化为透明的系统，揭示提示形成、检索或模型幻觉方面的问题。OpenTelemetry (OTel) 是一个云原生计算基金会项目，已成为此领域的行业标准，提供统一的 API 和库来检测代码并将遥测数据发送到兼容的后端，而 OpenLLMetry 等扩展为生成式 AI 添加了特定约定。
-
语音助手可观测性差距隐藏着关键的音频层故障
语音助手的可观测性工具通常只关注LLM组件，忽略了关键的音频层故障。这些故障，如过早的结束说话检测或缓慢的抢话检测，即使LLM表现完美，也可能导致通话在句子未完时中断。开发者需要为ASR延迟、置信度分数、抢话检测和首次音频时间等仪器化自定义跨度，以全面了解语音助手的性能。
-
AI优先数据中心的观测能力正在演进
文章讨论了AI优先数据中心观测能力不断演进的需求，从传统的轮询方法转向更具概率性的方法。文章强调了监控AI工作负载的重要性，这与传统的IT系统不同。作者认为需要一种新的架构范式来有效管理和观测这些复杂的AI环境。
-
LiteLLM开源LLM网关经审计后被评定为“有条件生产就绪”
对开源LLM网关LiteLLM进行的、采用关注生产就绪性的结构化方法的审计发现，该网关“有条件生产就绪”。审查了治理、故障转移行为、入职、可观测性、路由、成本控制和密钥管理七个维度，发现LiteLLM在身份、密钥、可观测性以及路由/成本控制方面表现强劲。虽然大多数安全关键维度得分良好，但一些高级功能，如MCP服务器的令牌交换和特定的可观测性配置，被指出是操作员启用而非默认设置。
-
新工具 CacheSentry 解决 LLM 应用中的提示缓存回归问题
一位开发者创建了一个名为 CacheSentry 的开源工具，用于解决大型语言模型应用中的提示缓存回归问题。该工具旨在检测插入到提示开头附近的动态字段（如 UUID 或时间戳）如何会悄无声息地破坏提示缓存的重用，从而导致大量的 token 损失。CacheSentry 分析提示跟踪信息，以识别这些有问题的字段，估算 token 损失，并可以配置为在缓存能力下降时中断 CI 管道。
-
AI 编码助手发出开发人员行为的实时遥测数据
Alexander Marshalov 与 @dianatodea 讨论了 AI 编码助手，强调了它们发出丰富的 OpenTelemetry 数据的能力。这些数据提供了关于提示、工具使用、工作流和开发人员行为的实时洞察。
-
使用 FastAPI 和 LLM 构建生产级 AI 应用：架构和最佳实践
本文概述了使用 FastAPI 和大型语言模型 (LLM) 开发生产级 AI 应用的架构和最佳实践。它详细介绍了一个涉及前端、API 层、AI 服务层、向量数据库和 LLM 提供商的系统架构，强调了 FastAPI 因其性能和异步能力而带来的优势。文章还涵盖了用于访问领域特定知识的检索增强生成 (RAG)，用于部署的 Docker 容器化，以及 Prometheus 和 Grafana 等监控工具对可观察性的重要性。
-
新的混合管道通过 DistilBERT 和 URL 分析提高了网络钓鱼检测能力
研究人员开发了一种新颖的混合管道，旨在增强网络钓鱼和威胁分类。该系统集成了多个引擎，包括一个 URL 分析堆栈、一个 DistilBERT NLP 分类器和一个威胁情报同步器。该管道在超过 10,000 封电子邮件的基准测试中取得了 0.914 的高 F1 分数，显著提高了真实网络钓鱼的召回率，同时最大限度地减少了误报。
-
LLM 可观测性工具忽略语音代理的关键音频层
LLM 的可观测性工具主要关注跟踪模型调用，包括提示、完成和延迟，这对于语音代理来说是不够的。语音代理的失败通常发生在音频层，例如轮次结束检测、ASR 延迟和插入检测，而当前的 LLM 跟踪器无法捕获这些。基于 OpenTelemetry 构建的工具为与 LLM 指标一起检测这些音频层跨度提供了灵活的画布，但需要自定义实现，而其他工具则更侧重于 LLM 调用，需要额外的遥测来提供音频见解。
-
Claude Code v2.1.157 增加了自动本地插件加载
Claude Code 发布了 2.1.157 版本，该版本引入了从本地 .claude/skills/ 目录自动加载插件的功能，无需通过市场发布或显式目录标志。此更新是每周快速发布周期的一部分，还包括对分派会话配置的增强、OpenTelemetry 工具参数的日志记录以及超过 20 项错误修复。新的插件加载机制允许开发人员将插件文件直接放入指定目录即可在新会话中使用，从而简化了项目本地工具的集成。
-
Claude Code 使用 OpenTelemetry 和 VictoriaMetrics 进行监控
本文详细介绍了如何使用 OpenTelemetry 和 VictoriaMetrics 监控 Claude Code。它为使用 LiteLLM 的开发人员提供了技术指南，重点关注为 AI 代码执行设置有效的监控。