Langfuse
PulseAugur coverage of Langfuse — every cluster mentioning Langfuse across labs, papers, and developer communities, ranked by signal.
- 2026-05-16 product_launch Langfuse v4 integration with Ollama for local LLM tracing is released. 来源
15 天有情绪数据
-
Helicone 被 Mintlify 收购，促使用户迁移 AI 可观测性工具
AI 可观测性工具 Helicone 已被专注于开发者文档的公司 Mintlify 收购。尽管 Helicone 的创始人已加入 Mintlify，但独立 Helicone 产品上的活跃功能开发已停止，仅继续提供安全补丁和错误修复。此次收购遵循了类似工具被收购的趋势，Langfuse 被 ClickHouse 收购，Galileo Ai 被思科收购。建议使用 Helicone 的开发者，特别是使用托管版本或依赖未来功能的开发者，考虑迁…
-
LLM追踪工具简化了不正确AI输出的调试过程
调试LLM输出需要强大的追踪工具，这些工具能够捕获从提示组装到工具执行和检索到的块的完整请求生命周期。Helicone、LangSmith、Langfuse、Future AGI和Braintrust等工具提供了应对这一挑战的不同方法。有效调试的关键功能包括检索特定请求追踪记录的速度、捕获信息的粒度（例如，检索到的上下文、工具输入/输出、令牌计数）以及与OpenTelemetry等标准的集成，以便跨不同系统组件获得统一视图。
-
JFrog 开发者报告使用 Boost CLI 工具显著节省 token
JFrog 的一位开发者分享了他们使用 Boost 的经验，Boost 是一款 CLI 工具，旨在压缩命令输出，然后再将其发送到 LLM 代理或 CI 管道。据报道，该工具压缩了 2.12 亿个 token，在 964 次对话中为该开发者节省了约 1,060 美元。当由 JFrog CIO 团队的十二名开发者全部使用时，估计总节省额约为 9,000 美元。Boost 的工作原理是包装命令、捕获并压缩其输出，然后发出 OpenTelem…
-
AI 工作流框架：Prompt-based, LangGraph, Temporal 和 n8n 对比
文章对比了四种 AI 工作流框架：Prompt-based、LangGraph、Temporal 和 n8n，重点介绍了它们在工作流定义、状态持久化和执行引擎方面的不同方法。Prompt-based 工作流使用 Markdown 和 YAML，并由 LLM 驱动路由，易于非工程师修改，但引入了不确定性。LangGraph 和 Temporal 利用确定性的 Python 代码进行执行和状态管理，提供更好的可测试性和可观察性，其中 La…
-
LLM 可观测性工具跟踪 token、成本和护栏
调试缓慢或昂贵的 LLM 调用需要专门的可观测性工具，超越标准的 APM 指标。需要监控的关键因素包括 token 数量、每个模型的成本、护栏开销以及详细的提示级信息。跟踪应包含每次跳转的输入/输出 token、成本和延迟，最好通过 OpenTelemetry 输入到 Langfuse 或 SigNoz 等现有平台。护栏性能，如阻止率和增加的延迟，也值得单独跟踪以管理运营费用。
-
开发者构建开源仪表板以跟踪 LLM 成本和采用情况
一位开发者创建了一个开源仪表板，用于跟踪不同提供商（如 Claude Code、Codex 和 Kimi）的 LLM 使用情况和成本。该工具使用 LiteLLM 作为网关，将请求路由并将详细信息（包括成本、token 和用户活动）记录到 BigQuery。这种设置使团队能够监控支出、设置预算并了解 AI 编码工具的采用率，从而解决了不同 LLM 提供商计费页面分散的问题。
-
语音助手可观测性差距隐藏着关键的音频层故障
语音助手的可观测性工具通常只关注LLM组件，忽略了关键的音频层故障。这些故障，如过早的结束说话检测或缓慢的抢话检测，即使LLM表现完美，也可能导致通话在句子未完时中断。开发者需要为ASR延迟、置信度分数、抢话检测和首次音频时间等仪器化自定义跨度，以全面了解语音助手的性能。
-
AI代理评估工具将焦点从最终答案转移到整个过程
评估AI代理需要一种不同于评估单个LLM调用的方法，重点关注代理的整个过程，而不是仅仅最终输出。LangSmith、Galileo、Arize Phoenix、Braintrust、Future AGI和Langfuse等工具提供了不同的能力，其中一些专注于代理工作流，另一些提供开源可观察性。关键在于不仅要对最终答案进行评分，还要对工具选择、参数和从错误中恢复的序列进行评分，以区分真正的推理和运气。
-
LangGraph Agent 流式传输 OpenAI 兼容的 SSE 并附带推理面板
本文详细介绍了如何为 LangGraph Agent 创建一个 OpenAI 兼容的 API，使其能够与 Open-WebUI 等标准 OpenAI 客户端一起使用。文章解释了必要的 Server-Sent Events (SSE) 格式，并提供了将 LangGraph 的内部事件流转换为预期块格式的代码片段。该帖子还介绍了如何通过将工具调用嵌入 `` 标签来展示 Agent 的推理过程，以便在 UI 中显示“思考面板”。
-
Runcap 为 AI 代理引入飞行前成本控制
一款名为 Runcap 的新工具应运而生，旨在解决失控 AI 代理成本的问题，提供独特的飞行前成本控制机制。与 Langfuse 等可观测性工具或 LiteLLM 等网关不同，Runcap 作为代理运行，在进行 AI 调用之前估算并强制执行硬性成本上限。它还采用了一种新颖的令牌压缩技术，通过仅发送文件版本之间的更改而不是重新读取整个文件来降低成本。
-
Dify 平台提供超越无代码聊天机器人的高级 AI 工作流功能
Dify 是一款开源 AI 工作流平台，在 GitHub 上拥有超过 145,000 颗星，已发布 v1.14.2 版本，重点改进了安全性和可靠性。尽管许多用户将其视为无代码聊天机器人构建器，但该平台为构建生产就绪的 AI 代理提供了高级功能。这些隐藏功能包括将工作流导出为 YAML 以进行版本控制和 CI/CD 集成，配置多模型路由并自动回退以提高弹性，以及通过高级分块和混合搜索策略定制 RAG 管道。
-
LLM 可观测性工具忽略语音代理的关键音频层
LLM 的可观测性工具主要关注跟踪模型调用，包括提示、完成和延迟，这对于语音代理来说是不够的。语音代理的失败通常发生在音频层，例如轮次结束检测、ASR 延迟和插入检测，而当前的 LLM 跟踪器无法捕获这些。基于 OpenTelemetry 构建的工具为与 LLM 指标一起检测这些音频层跨度提供了灵活的画布，但需要自定义实现，而其他工具则更侧重于 LLM 调用，需要额外的遥测来提供音频见解。
-
开发者构建本地AI可观测性工具ccglass以削减成本
一位开发者创建了一个名为ccglass的本地开源代理工具，以解决现有用于编码代理的AI可观测性平台存在的局限性。与Langfuse和Helicone等SaaS解决方案不同，ccglass在本地运行，无需账户或API密钥，并且专门处理绕过标准HTTP代理的代理。该工具提供有关提示使用、成本和缓存的详细洞察，旨在帮助用户优化其AI代理交互并减少不必要的开支。
-
使用集中的 Span Processor 对 LLM 痕迹中的 PII 进行脱敏
一种对 LLM 应用痕迹中的个人身份信息 (PII) 进行脱敏的新方法，侧重于使用集中的 Span Processor，而不是修改单个调用点。此方法可确保在数据离开应用程序之前进行一致的 PII 清洗，从而解决详细的 LLM 仪器化固有的安全风险。所提出的解决方案涉及 OpenTelemetry 中的自定义 SpanProcessor，该处理器可识别并替换特定 span 属性和事件中的电子邮件、信用卡号和电话号码等敏感数据。
-
LLM成本归属：按功能和租户跟踪支出
本文提出了一种在应用程序内详细归属大型语言模型（LLM）使用成本的方法。它建议通过添加自定义属性，如“app.feature”和“app.tenant_id”，来增强现有的跟踪数据，以识别是哪些特定功能或客户在驱动LLM支出。该方法利用OpenTelemetry约定，并主张在LLM调用时计算成本，而不是仅仅依赖提供商的账单仪表板，从而在无需大量代码重写的情况下实现更精细化的财务洞察。
-
LLM评估工具：确保长期可用性的关键问题
选择LLM评估工具需要仔细考虑，而不仅仅是功能，因为供应商锁定可能成为一个重大问题。文章建议在承诺使用某个工具之前，提出四个关键问题，重点关注长期可用性和数据所有权。关键考虑因素包括工具是否真正支持自托管、企业功能的许可影响以及是否能够轻松导出和保留评估数据集的所有权。
-
TokenWatch 推出，成为轻量级、开源的 LLM 成本跟踪器
一款名为 TokenWatch 的新开源工具已被开发出来，作为跟踪 LLM 成本的轻量级替代品，特别适合独立开发者和小型团队。该工具填补了 Helicone 和 Langfuse 等服务留下的空白，这些服务要么处于维护模式，要么需要复杂的自托管。TokenWatch 提供直接调用 OpenAI 和 Anthropic 等提供商 API、使用 SQLite 进行本地数据存储、自动预算终止开关以及按功能和客户进行成本归属等功能。
-
AI编码代理获得自循环、节省成本的提示
本周的AI新闻通讯介绍了“循环工程”，这是一种通过允许代理进行自循环来简化编码代理交互的方法，从而减少手动干预并缩短开发时间。通讯还强调了Claude Cowork等新的AI工作界面，强调提供明确的目标而不是笼统的问题对于有效执行任务的重要性。此外，它还提到了诸如提示缓存之类的成本节约技术，据报道将API成本降低了72%，并讨论了Langfuse等生产LLM可观测性工具。
-
开发者工具揭示编码代理 API 成本，实现节省
一位开发者创建了一个名为 ccglass 的开源工具来监控编码代理发出的 API 调用，揭示了显著的成本节省机会。该工具充当本地反向代理，记录到 Anthropic 的 Claude Code 和 OpenAI 等服务的请求。分析表明，通过优化提示并了解不同提供商的每项任务成本，该开发者将月度账单减少了 35%，并提高了效率。
-
LLM可观察性工具地图：LangSmith、Langfuse、Braintrust崭露头角
LLM可观察性领域正在发展，涌现出多种工具来满足监控和理解LLM应用程序的需求。LangSmith、Langfuse、Braintrust、Helicone和Arize Phoenix等关键平台提供了不同的日志记录和衡量LLM性能的方法。有效的日志记录被认为是实现LLM项目可观察性和可衡量性的基础，这对于回答有关生产环境中模型行为的问题至关重要。