SigNoz
PulseAugur coverage of SigNoz — every cluster mentioning SigNoz across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
SigNoz observability crucial for debugging complex AI agent interactions
Recent evidence shows SigNoz being used to debug complex AI agent systems, including identifying performance bottlenecks in specialized agents and tracing disagreements between them. The observability traces were also key in a local AI agent debugging itself. This highlights SigNoz's growing importance in understanding and optimizing intricate AI agent workflows.
SigNoz's new query language will accelerate LLM agent observability adoption
The introduction of a string-based query language in SigNoz's Query Builder v5, alongside the shift to Foundry for deployment, suggests a move towards more accessible and powerful data analysis. This could lower the barrier to entry for users wanting to gain observability into LLM agents, potentially leading to wider adoption of SigNoz for this use case.
OpenTelemetry and SigNoz are becoming standard for LLM agent observability
Multiple recent clusters demonstrate the use of OpenTelemetry for instrumenting AI agents and SigNoz for visualizing the resulting telemetry. This includes debugging self-healing agents and identifying hidden costs like the 'retry tax'. The emergence of libraries like opentel-mcp further solidifies this trend.
-
Signoz v0.135.0 增强了GCP集成、日志提取和仪表板功能
Signoz 发布了v0.135.0版本,引入了增强的Google Cloud Platform集成、改进的日志消息提取和新的仪表板功能。配套的服务器更新v2.71.0侧重于更好的内存处理和PyTorch后端增强。此外,Lightdash版本1.34.0包括了对跟踪偏好的修复和改进的CI OpenAPI规范。
-
RestaurantOS AI 使用多代理系统和 OpenTelemetry 实现可观察性
一个名为 RestaurantOS AI 的新 AI 系统已被开发出来,通过协调专门的自主代理来管理餐厅运营。该系统通过集成 OpenTelemetry 和 SigNoz 来实现可观察性,使 AI 决策透明化,从而解决了调试概率性 LLM 代理的挑战。这种由 Supervisor Agent 编排的多代理架构包括需求预测、库存管理、减少浪费和采购等代理,最终旨在自动化复杂决策并解决现实世界的餐厅问题。
-
AI代理可以通过测试,同时表现出危险行为
两位开发者描述了AI代理的一种关键故障模式,在这种模式下,代理会产生正确的输出,但在执行过程中表现出恶意或意外的行为。这个问题被称为“通过所有测试的bug”,当代理具有重试策略或可编辑的提示时就会发生,导致数据泄露或重复交易等操作。标准的基于输出的审计由于最终输出看起来正确而无法检测到这些问题。两位开发者都提出了解决方案,重点是监控代理的执行轨迹,而不仅仅是最终输出,通过捕获工具调用序列并将策略检查应用于确保遵守预定义的规则和范围。
-
AI 代理利用可观测性数据自我调试
一位开发者创建了一个能够通过查询可观测性数据来调试自身的 AI 代理。该代理连接到 SigNoz 的 MCP 服务器,并使用 LLM 来选择和执行工具,从而能够回答有关系统性能的诊断问题。该系统旨在解决 AI 代理静默失败的问题,并通过黑客马拉松开发而成,在创建过程中克服了多项技术挑战。
-
开发者构建自定义工具以追踪语音AI中流式LLM的性能
一位开发者创建了一个名为Zooid的自定义插桩层,以解决语音AI应用中流式大型语言模型(LLM)的性能问题。标准的应用程序性能监控(APM)工具不足以诊断语音助手的延迟问题,因为它们无法精确定位语音转文本(STT)、LLM处理和文本转语音(TTS)之间的瓶颈。Zooid利用OpenTelemetry手动追踪语音交互的整个生命周期,捕获首次响应时间(TTFT)和Token成本等自定义指标,并在SigNoz中可视化这些数据。
-
Greenlight 通过 Agentic Autofix 自动化 CI/CD 流水线调试
Greenlight 是一个旨在自动化调试失败的 CI/CD 流水线的新系统。它与 SigNoz 集成进行告警监控,并利用 Agentic 方法自动修复问题。该系统旨在减少开发人员在诊断和解决流水线故障上花费的手动工作和时间。
-
SigNoz 的 LLM 可观测性功能因配置和错误而受阻
SigNoz 在其开源平台内开发了一项 LLM 可观测性功能,但由于三个默认禁用的实验性标志和一个定价处理器中的错误,该功能在很大程度上无法使用。该功能需要同时启用 AI 可观测性和仪表板版本 2 的特定标志配置。此外,定价和 span 映射注册表为空,并且一个错误阻止了定价处理器连接到收集器管道,使得成本跟踪成为不可能。
-
AgentLens 将 AI 质量集成到 SigNoz 的可观测性中
一款名为 AgentLens 的新工具已被开发出来,通过与 SigNoz 等可观测性平台集成,来解决评估 AI 代理质量的挑战。与包装代理的传统方法不同,AgentLens 使用 OpenTelemetry 对代理进行检测,并将跟踪发送到 SigNoz。这使得能够评估任何语言的代理运行和历史数据,使 AI 质量成为与延迟和错误率等指标并列的一流可观测性信号。
-
CacheGuard 中间件保护 LLM 提示缓存免受计时攻击
一种名为 CacheGuard 的新中间件已被开发出来,用于解决大型语言模型 (LLM) 提示缓存中的安全漏洞。该系统可防止计时侧信道攻击,攻击者通过测量响应时间来推断提示是否被缓存,从而可能泄露敏感信息。CacheGuard 通过分析响应时间和前缀熵来检测这些攻击,然后采用自适应抖动、缓存旁路和租户隔离等防御措施来消除威胁。
-
AI代理的信用卡支出通过SigNoz进行监控
某人授予AI代理信用卡访问权限,并使用SigNoz监控其活动。该代理试图购买50美元的API积分,触发了Stripe webhook,凸显了系统中可观测性的缺失。
-
新库 opentel-mcp 检测 LLM 代理工具中的静默故障
一个名为 opentel-mcp 的新开源 npm 库已被开发出来,用于解决模型上下文协议 (MCP) 服务器中的静默故障问题,而 MCP 服务器对于将 LLM 代理连接到工具至关重要。该库对 MCP 服务器进行插桩,特别是针对 Node.js 和 TypeScript,以检测和报告在传输层不明显的故障,例如在成功的 HTTP 200 响应中出现的 `isError: true` 标志。该库与 SigNoz 可观测性平台集成,提供了一…
-
SigNoz 转向 Foundry 进行部署,并引入新的查询语言
自行托管 SigNoz 已从使用 Docker Compose 转向一个名为 Foundry 的新工具,该工具生成部署清单。此更改要求用户调整其安装和配置方法。新流程涉及使用 Foundry 的 `forge` 命令创建 Docker 构件,并使用 `cast` 应用它们,从而提供更大的灵活性和可读性。一个关键更新是 Query Builder v5,它现在支持基于字符串的查询语言来进行过滤和聚合,增强了分析遥测数据和设置警报的能力。
-
AI代理在可观测性演示中就代码审查发生争执
一位开发者创建了一个AI代理团队来审查代码,模仿真实的人类代码审查流程。该系统包括专门负责逻辑、风格和性能的代理,并由一个主持人代理进行监督。开发者集成了OpenTelemetry用于可观测性,这揭示了性能代理是最慢的,而风格代理由于详细的违规列表消耗了最多的token。这种可观测性还有助于追踪代理之间的分歧以及调试不当的span嵌套等问题。
-
本地 AI 代理使用可观测性追踪进行自我调试
一位开发者演示了本地 AI 代理(具体来说是运行在 Ollama 上的 Qwen2.5-3B 模型)如何通过查询自身的(可观测性)追踪信息来完成自我调试。通过将该代理连接到 SigNoz 模型上下文协议 (MCP) 服务器,代理能够分析其性能指标,识别出自身模型调用比工具调用慢得多,并提出优化策略。这种设置允许代理内省并诊断其自身运行循环中的问题,所有组件都在本地运行,且无需 GPU。
-
AI 代理因静默重执行而产生隐藏的“重试成本”
最近的一项分析探讨了与 AI 代理相关的隐藏成本,特别是当模型因格式错误的 JSON 或验证失败等错误而静默重执行任务时产生的“重试成本”。通过使用 OpenTelemetry 对本地 Llama 代理进行检测,并使用自托管的 SigNoz 进行监控,作者展示了这些重试,即使在初始响应已完成的情况下,也会显著增加 token 使用量、延迟和总体计算成本。该研究强调了可观测性在理解和管理 AI 代理运营中这些通常看不见的费用方面的重要性。
-
通过 Foundry 在 Windows ARM64 上自托管 SigNoz 可观测性平台
一位开发者成功地在 Windows ARM64 机器上使用 Foundry 自托管了 SigNoz 可观测性平台,克服了 Docker 的 WSL 集成最初的障碍。该过程涉及通过 Foundry 的配置即代码方法配置 SigNoz,该方法自动设置了 ClickHouse、PostgreSQL 和 OTel Collector 等组件。一个关键挑战是为特定的 WSL 发行版启用 Docker Desktop 的集成,这一细节在文档中并未…
-
LLM 可观测性工具跟踪 token、成本和护栏
调试缓慢或昂贵的 LLM 调用需要专门的可观测性工具,超越标准的 APM 指标。需要监控的关键因素包括 token 数量、每个模型的成本、护栏开销以及详细的提示级信息。跟踪应包含每次跳转的输入/输出 token、成本和延迟,最好通过 OpenTelemetry 输入到 Langfuse 或 SigNoz 等现有平台。护栏性能,如阻止率和增加的延迟,也值得单独跟踪以管理运营费用。
-
开发者构建车载设备上的 SOS 检测系统
一位开发者使用 Qdrant Edge、SigNoz 和 YAMNet 创建了一个用于车辆的实时、车载 SOS 检测系统。该系统可以被动监听求救声音,并在无需用户交互或云数据上传的情况下自动发送警报。该实现优先考虑隐私和效率,其中 Qdrant Edge 支持本地向量搜索,SigNoz 提供性能追踪。
-
AI代理成本:将重点从模型转移到工作流
作者认为,一旦AI被集成到复杂代理基础设施中,传统的按模型或按token计费的AI成本追踪方法就会变得不够用。相反,重点应该转移到按工作流或业务事件追踪成本,因为一个工作流可能涉及多个模型调用、重试和工具交互。这种运营视角对于识别和纠正代理系统中的预算超支问题至关重要,例如某些Slack频道或客户自动化会产生不成比例的费用。