Langfuse
PulseAugur coverage of Langfuse — every cluster mentioning Langfuse across labs, papers, and developer communities, ranked by signal.
- acquired by Braintrust Ai 95%
- acquired by Helicone 90%
- acquired by ClickHouse 90%
- acquired by Arize AI 90%
- acquired ClickHouse 90%
- acquired Mintlify 90%
- acquired by Mintlify 90%
- competes with Arize 80%
- competes with Helicone 70%
- used by ClickHouse 70%
- competes with Agnost AI 70%
- competes with Braintrust Ai 70%
- 2026-11-12 product_launch Langfuse launched an integration with OpenRouter, enabling unified AI observability. 来源
- 2026-11-09 product_launch Langfuse released version 4.77.0, removing automatic tokenization. 来源
- 2026-10-27 product_launch Langfuse launched LangFuse X, a feature enabling users to export their traces. 来源
- 2026-10-25 product_launch Langfuse launched an open-source observability and evaluation platform for LLM applications. 来源
- 2026-10-16 product_launch Langfuse released version VI, introducing prompt management features. 来源
- 2026-09-01 product_launch Langfuse released version 4.27.0, including a new feature for normalized I/O parsing. 来源
- 2026-08-27 partnership Langfuse partnered with Microsoft.Extensions.AI to enable prompt updates without redeployment. 来源
- 2026-07-26 product_launch Author details self-hosting Langfuse, an open-source LLM observability platform, to manage costs. 来源
- 2026-05-16 product_launch Langfuse v4 integration with Ollama for local LLM tracing is released. 来源
18 天有情绪数据
-
Agnost AI 在自定义 LLM 聊天机器人分析方面领先;平台工具和 PostHog 也接受了评测
对 AI 聊天机器人分析工具的比较突出了 Agnost AI 作为自定义 LLM 构建的机器人的首选,它提供详细的对话分析、故障检测和自动修复建议。对于集成到 Intercom Fin、Zendesk、Voiceflow 或 Botpress 等平台的聊天机器人,首先推荐使用它们的原生分析工具。然后可以集成 PostHog 和 Amplitude 等工具,将聊天机器人性能与更广泛的产品指标(如漏斗和留存率)联系起来,而 Langfus…
-
监控面向客户的 AI 代理的最佳实践
大规模监控面向客户的 AI 代理需要在四个关键领域实现标准化:用于遥测的 OpenTelemetry GenAI 约定、应用于每次对话的统一质量规则集、跟踪每个代理和意图的失败率并分配所有权,以及与 NIST AI 600-1 和 OWASP Top 10 for LLM Applications 2025 对齐的每周审查。文章重点介绍了 Agnost AI 作为一种工具,可以根据通俗易懂的规则对对话质量进行评估,无需抽样,而 Lan…
-
AI代理监控供应商提供企业级SLA和支持
多家供应商为AI代理监控工具提供企业级服务水平协议(SLA)和专属支持,其中Agnost AI、Langfuse和LangSmith因其特定产品而备受关注。Agnost AI在其企业版计划中提供定制SLA和VPC部署,专注于监控面向客户的对话。Langfuse为其企业云产品提供详细的正常运行时间SLA、关键问题1小时响应时间和专属支持工程师。LangSmith允许自定义正常运行时间和延迟目标,并为严重问题提供LangChain工程师的…
-
AI代理监控工具实现SOC 2、HIPAA合规
几款AI代理监控工具已宣布符合SOC 2 Type II和HIPAA法规,其中一些提供业务伙伴协议(BAA)来处理受保护的健康信息。LangSmith、Langfuse、Arize AX、Datadog Agent Observability、Braintrust和Fiddler明确记录了这些合规标准。Agnostic AI提供高级功能,如自托管VPC部署和对话级合规性检查,但其具体的SOC 2和HIPAA状态未公开披露,需要直接进行…
-
生产环境LLM切换回归:Agnost AI, Promptfoo, LangSmith, Braintrust Ai
为了确保在生产环境中切换大型语言模型(LLM)时的平稳过渡,开发人员应仔细比较新旧模型之间的关键性能指标。建议使用Agnost AI等工具进行切换后的分析,根据预定义规则评估每一次对话,而非抽样,以检测回归。对于切换前的测试,Promptfoo, LangSmith和Braintrust Ai等平台能够回放过去的对话,在新旧模型上进行比较,以识别可能被忽视的细微行为变化和多轮对话问题。
-
用于监控 Pydantic AI 和 Google ADK 代理的工具
开发人员可以通过将 OpenTelemetry 跟踪导出到后端来监控使用 Pydantic AI 或 Google ADK 构建的 AI 代理。推荐使用 Agnost AI 进行生产监控,按用户和会话对对话进行分组,并对问题发出警报。Pydantic AI 在开发检查中使用 Pydantic Logfire,而 Google ADK 与 Google Cloud Trace 集成。这两个框架都遵循生成式 AI 的 OpenTeleme…
-
AI智能体评估出现新基准和顶尖表现者
2026年11月中旬,AI智能体评估领域活动显著。Agent Arena Index发布,将Anthropic的Claude Fable 5.2 (Max)列为表现最佳者,其次是Google DeepMind和OpenAI。新的基准也已发布,包括用于商业设计任务的Frontier Design Benchmark,其中一个名为Gestalt的模型在商业设计任务中表现优于人类设计和现有AI模型,以及OpenAI用于药物化学研究的MedC…
-
nRouter AI 网关将日志传输转移到应用程序标头
nRouter AI 网关不会直接将请求日志发送到 Datadog 或 Langfuse 等平台。相反,关键的遥测数据,包括使用的模型、令牌计数、延迟和成本,都包含在响应标头中。用户被指示在应用程序内捕获这些标头,然后将结构化数据转发到他们选择的可观察性工具。这种方法将凭据保留在用户的环境中,并确保网关不会记录敏感的提示或响应文本。
-
OpenLIT OpenTelemetry 提供开源工具用于 AI 应用追踪
OpenLIT OpenTelemetry 是一个新推出的开源平台,旨在帮助开发者利用 OpenTelemetry 来追踪、评估和改进 AI 应用。它提供了 Python、TypeScript 和 Go 的 SDK,并遵循 OpenTelemetry GenAI 语义约定。该平台可以详细追踪 LLM 调用,包括使用的模型、token 数量和成本,并提供选项来控制捕获的数据,例如消息内容和 PII,以平衡调试需求与隐私考量。
-
AI Agent 可观测性平台:初创公司分阶段指南 · 跟踪 2 个来源
对于构建 AI Agent 的初创公司来说,选择可观测性平台取决于开发阶段。在原型设计阶段,建议使用 Langfuse Cloud Hobby 或 LangSmith Developer 等免费套餐来跟踪模型和工具调用。随着 Agent 获得客户,集成 Agnost AI 等对话级工具对于识别用户失败和策略违规至关重要。为了扩展,建议使用 Braintrust 或 Langfuse datasets 等平台进行发布测试,只有当客户需求…
-
随着 AI 网关工具进入维护模式,Helicone 替代方案应运而生
AI 网关工具 Helicone 在被 Mintlify 收购并随后提及作为 Experiential Labs 的一部分后,将进入维护模式,促使用户寻求替代方案。主要的替代方案包括用于日志记录和成本跟踪的 Langfuse,用于网关功能和可观察性的 Portkey(现归 Palo Alto Networks 所有),以及用于路由的 LiteLLM 或 OpenRouter。Opik 和 Laminar 等其他选项提供了具有评估功能的…
-
AI聊天机器人意图分析工具买家指南发布
本买家指南概述了通过用户意图分析AI聊天机器人对话的工具,重点介绍了Agnost AI、Braintrust、LangSmith、Amplitude、PostHog、Dimension Labs和Level AI,并将Langfuse列为DIY选项。该指南强调,有效的意图分析不仅限于简单的标签化,还能检测目标变化、对对话进行分组以及将意图与结果联系起来。它建议在生产环境中使用固定分类法与语义聚类相结合的混合方法,并详细介绍了可靠意图标…
-
Langfuse、LangSmith 等成为 Arize 的主要替代方案
本文比较了 Arize 的 AI 可观测性工具 Arize AX 和 Phoenix 的替代方案,重点介绍了 Langfuse 和 Opik 作为具有宽松许可证的开源选项。对于已投入特定平台的团队,LangSmith 推荐给 LangChain 和 LangGraph 用户,而 Datadog 或 Galileo(现为 Splunk Agent Observability)则适合现有 Datadog 客户。其他替代方案包括用于轻量级开…
-
LangSmith 替代方案提供开源、按使用量付费的 LLM 监控服务
LangSmith 的多个替代方案正在涌现,用于 LLM 代理评估和监控,其中 Langfuse 和 Braintrust 是突出的选项。Langfuse 为追踪、提示和评估提供了接近的开源替代方案,而 Braintrust 则专注于以实验为驱动的评估工作流程。其他工具如 Opik、Arize Phoenix、Laminar、Helicone 和 Agnost AI 提供了各种功能,如全对话评估器、自托管能力和生产日志分析,通常具有不…
-
Datadog LLM 可观测性替代方案:Langfuse、LangSmith、Arize 领先
有多种 Datadog LLM 可观测性产品的替代方案可供选择,可满足不同的用户需求和预算。Langfuse 被重点推荐为顶级的开源、可自托管选项。LangSmith 推荐给 LangChain 和 LangGraph 的用户。Arize 提供免费的自托管版本(Phoenix)和托管评估功能。其他替代方案包括 Braintrust、W&B Weave、New Relic AI monitoring 和 Agnost AI,它们各有特定…
-
LLM 可观测性工具对比:Langfuse、LangSmith、Braintrust Ai 等
LLM 可观测性工具的格局正在迅速发展,新平台不断涌现,现有平台也在更新其功能。对于提供追踪、评估、成本跟踪和提示管理等全面开源解决方案,推荐 Langfuse。LangSmith 是为使用 LangChain 和 LangGraph 构建的应用程序首选。对于优先考虑实验驱动评估的团队,Braintrust Ai 脱颖而出。现有 Datadog 用户可以利用其集成的可观测性功能,而 Opik 提供经济高效的托管计划或免费的自托管选项。…
-
开发者详述跨提供商捕获 LLM 聊天响应的方法
一位开发者概述了一种跨各种提供商以编程方式捕获 LLM 聊天响应的方法,区分了直接 API 调用和聊天应用程序中向最终用户显示的响应。对于 API 交互,建议使用 LiteLLM 和 OpenTelemetry 等工具来记录输入、输出和异常。要捕获 ChatGPT 和 Gemini 等应用程序中面向用户的响应,需要采用浏览器自动化方法,因为这些平台不通过标准 API 暴露其特定的模型名称或内部逻辑。提出的解决方案涉及使用标准化的记录模…
-
AI代理与聊天机器人:理解商业解决方案的关键区别
随着企业评估AI解决方案,聊天机器人和AI代理之间的区别变得越来越重要。聊天机器人旨在进行对话和信息检索,根据预定义的规则或数据进行响应。相比之下,AI代理是目标导向的系统,能够解释请求、将其分解为步骤、与其他系统交互并执行任务。虽然聊天机器人擅长回答问题和提供信息,但AI代理更适合需要跨多个业务系统执行操作的复杂工作流程。选择正确的工具取决于问题需要的是答案还是操作、可预测的步骤还是决策制定,以及对外部系统的访问。
-
使用 Langfuse/LangSmith 的代理追踪数据微调小型 AI 模型
本文详细介绍了一种使用 Langfuse 或 LangSmith 等平台记录的代理追踪数据来微调小型 AI 模型的方法。该过程包括选择高质量的追踪数据、清理数据,并使用它们来训练模型以完成特定的代理任务。文章强调了选择正确的代理步骤进行训练以及根据输出有效性、自动化评估、用户反馈或人工更正来精心策划追踪数据的重要性。文章还强调了使用 OpenAI 和 Anthropic 等模型的输出进行训练可能带来的法律和政策影响,并建议用户咨询法律顾问。
-
Langfuse 集成 OpenRouter 网关,实现统一的 AI 可观测性
Langfuse 集成了 OpenRouter 网关,通过允许用户通过单个端点进行路由来简化 AI 可观测性。这消除了为监控 AI 应用程序管理多个提供商连接的需要。