Langfuse
PulseAugur coverage of Langfuse — every cluster mentioning Langfuse across labs, papers, and developer communities, ranked by signal.
- acquired by Braintrust Ai 95%
- acquired by ClickHouse 95%
- acquired by Helicone 90%
- acquired ClickHouse 90%
- acquired Mintlify 90%
- acquired by Mintlify 90%
- competes with Helicone 70%
- competes with Ragas 70%
- competes with Braintrust Ai 60%
- used by ClickHouse 60%
- competes with Future AGI 60%
- used by Ragas 55%
17 天有情绪数据
-
ZizkaDB 推出用于调试 LLM 代理决策链
ZizkaDB 已推出，这是一个开源的操作型数据库，旨在解决 LLM 代理的调试挑战。与提供事件跨度树的传统跟踪工具不同，ZizkaDB 将代理决策存储为图，明确地将事件与其原因联系起来。这种因果链使开发人员能够理解代理输出背后的“为什么”，而不仅仅是“什么”和“何时”。该系统还提供会话级回放和漂移检测，其自托管设置仅需一个脚本和一个用于集成的 Python SDK。
-
Firecrawl、Langfuse 和 Casdoor 发布更新，新增功能
开源项目 Firecrawl 已发布 1.12.0 版本，引入了新功能和改进。同时，Langfuse 推出了 4.16.0 版本，其中包括增强的注册跟踪和自托管 Ask AI 支持。Casdoor 也已更新至 3.156.0 版本，增强了其刷新令牌授权以符合 RFC 8707。
-
AI代理需要新的可观测性来应对不可预测的行为
调试AI代理提出了独特的挑战，因为它们的行为可能是不可预测的，即使它们成功完成了任务。作者认为，传统的系统可观测性，侧重于日志和可预测的服务调用，对于代理系统来说是不够的。相反，需要一种新的方法来跟踪代理的决策过程、可用上下文和后续操作，提供整个运行过程的叙述，而不仅仅是内部模型推理。
-
Langfuse、Dawarich 和 Ghostfolio 的自托管软件更新
自托管软件更新包括 Langfuse v4.15.0，具有增强的沙盒工具和应用内代理基础；Dawarich 1.13.0，具有更快的地图渲染速度；以及 Ghostfolio 3.54.0，具有改进的账户选择器。Fluxer 的 fluxer-app-proxy-self-hosted 也收到了更新。Lightdash 更新了其 OAuth 页面和搜索中的 AI 驱动字段发现功能。
-
LLM 可观测性工具出现分化，专注于不同的核心问题
LLM 可观测性领域正在多元化，LangSmith、Langfuse、Braintrust Ai 和 Helicone 等工具各自专注于不同的核心问题，而不是直接竞争。LangSmith 强调对 LangChain 和 LangGraph 代理执行进行跟踪，而 Langfuse 则提供了一个框架无关的开源解决方案，用于跟踪和评估。Braintrust Ai 优先考虑评估，将分数视为主要对象，而 Helicone 则通过关注 API 流…
-
文章警告称，开放权重AI模型可能存在隐藏的商业限制
文章阐明了开源模型和开放权重模型之间的区别，强调后者可能仍存在商业限制。文章指出，例如Qwen模型的许可就施加了此类限制，这与普遍认为下载权重意味着无限制使用的假设相反。文章还深入探讨了分词（tokenization）的技术方面，解释了数值数据和非英文字符如何产生更高的代币成本，从而影响检索增强生成（RAG）堆栈。此外，文章还讨论了上下文窗口限制的实际影响，即超出代币限制可能导致检索到的信息被静默截断，而用户不会收到通知。
-
ClickHouse 以 4 亿美元收购 LLM 可观测性平台 Langfuse
ClickHouse 在其 4 亿美元的 D 轮融资中收购了开源 LLM 可观测性平台 Langfuse，此轮融资使 ClickHouse 的估值达到 150 亿美元。此次收购凸显了 LLM 可观测性市场日益增长的重要性，该市场预计到 2030 年将达到 92.6 亿美元。值得注意的是，Langfuse 及其竞争对手 Helicone 都使用 ClickHouse 进行分析，这表明 LLM 跟踪数据正朝着专用存储引擎发展。
-
LLM成本跟踪工具和账单因缓存会计差异而常常不匹配
由于缓存令牌的会计方法不同、社区定价注册表的不精确性以及未跟踪的API调用仍会产生费用，因此在内部跟踪工具和提供商账单之间协调LLM成本具有挑战性。OpenAI和Anthropic等提供商在报告缓存使用方面有不同的方法，这可能导致成本计算出现差异。用于成本估算的工具通常依赖社区维护的定价数据，这些数据明确警告其不准确性，并且一种常见的启发式方法将10%以下的差异视为正常的舍入，从而掩盖了更大的问题。最终，最权威的数字来自直接向用户收费…
-
Langfuse 为 TypeScript 项目引入提示回归门禁
Langfuse 推出了一个新的 GitHub Actions 工作流程，旨在对 TypeScript 项目中的提示回归进行门禁。该系统允许开发人员为其语言模型定义准确性阈值，如果性能下降到指定水平以下，将自动使 CI 构建失败。该实现包括运行级别评估器和官方 langfuse/experiment-action 等功能，从而能够自动测试和监控提示质量。
-
LLM评估工具提供指标，但关键挑战依然存在
对五个流行的LLM评估工具——Arize Phoenix、DeepEval、Future AGI、Langfuse和Ragas——的回顾表明，虽然它们提供了广泛的预构建指标，但这些指标仅占评估过程的20%的简单部分。这些工具在很大程度上仍未解决的关键挑战是选择与特定故障模式准确对齐的指标以及为结果建立误差范围。作者认为，LLM评估的真正成功取决于理解系统的独特故障分类法并据此选择或创建自定义指标，而不是仅仅依赖提供的商品化指标目录。
-
LLM 可观测性工具整合：ClickHouse 收购 Langfuse，Mintlify 收购 Helicone
2026 年初，LLM 可观测性市场经历了重大洗牌，主要参与者被收购或战略调整。ClickHouse 以 4 亿美元收购了 Langfuse，而 Mintlify 收购了 Helicone 并停止了其功能开发。然而，Braintrust Ai 获得了 8000 万美元的 B 轮融资，保持独立，专注于其“eval-first”方法。此次整合凸显了 LLM 可观测性作为数据基础设施的本质，并迫使团队考虑其所选工具的长期可行性。
-
随着市场蓬勃发展，LLM 可观测性平台在高级功能上出现分化
LLM 可观测性和评估平台市场正在迅速扩张，预计到 2030 年将达到 92.6 亿美元。平台正朝着 AI 原生工具、开源评估库、AI 网关和 APM 扩展等方向多元化发展，并且越来越多地采用 OpenTelemetry 标准以实现互操作性。Langfuse、Helicone、Opik 和 MLflow 等领先平台之间的关键差异化因素在于其高级功能，例如自动跟踪评分、复杂的速率限制规则、用于主题和 PII 检测的集成防护栏，以及具有差…
-
LLM 可观测性工具捕获追踪但限制断言粒度
用于 LLM Agent 的可观测性工具，如 Langfuse、LangSmith 和 Phoenix，提供了捕获生产追踪的方法，但它们在定义输入和断言方面的默认配置可能有限制性。作者认为，捕获 Agent 的失败需要将输入定义为失败点的状态，而不仅仅是初始用户消息，并且断言槽通常捕获单个输出，而不是工具调用的完整轨迹。DeepEval 被强调为一个例外，它提供了可以直接对工具调用序列进行断言建模的模式。
-
OpenAI 将停用 Prompt Objects 功能，促使用户迁移至替代工具
OpenAI 将于 2026 年 11 月 30 日停用其 Prompt Objects 功能，该功能允许用户通过 API 存储、编辑和引用提示。此次关闭将移除无需重新部署代码即可进行快速编辑和回滚到先前版本的功能。用户正在探索各种选项，例如将提示直接嵌入代码库、使用数据库和管理页面构建自己的提示管理系统，或采用 Langfuse、PromptLayer 或 PromptFlip 等第三方提示管理工具。
-
软件更新：Langfuse、Firefly III、lightdash、Agenta 和 Baïkal 发布新功能
此集群详细介绍了多个项目的软件更新。Langfuse 发布了 v3.225.0 版本，具有增强的标头验证和新的禁用选项。Firefly III 在其 develop-20260803 版本中进行了错误修复、翻译更新和新功能。此外，lightdash 1.61.0 通过其 AI 集成保留了深度研究查询结果，Agenta v0.108.0 包括 Codex 支持和改进的 Railway CI 集成，而 Baïkal 0.12.0 已处理了…
-
新工具将代理失败转换为微调数据
一款名为 trace2train 的新开源工具已发布，可将失败的代理追踪转换为监督微调 (SFT) 或直接偏好优化 (DPO) 训练数据。该工具作为本地 CLI 工具开发，旨在利用代理错误（例如不正确的工具选择或错误的参数），这些错误通常会丢失在日志中，以改进模型。该工具支持 LangSmith 和 Langfuse 等各种追踪源，并可利用 DeepSeek 或 OpenAI 等模型进行处理，同时通过仅在可从追踪中推导出的情况下生成更…
-
LangChain 生态系统解析：构建模块 vs. 运营工具
由于命名相似的工具激增，LLM 开发生态系统正经历“Lang 疲劳”。本指南阐明了 LangChain、LangGraph 和 Langfuse 等开源构建模块与 LangSmith 等商业平台工具之间的区别。LangChain 提供具有预构建模式的高级代理构建，而 LangGraph 则为复杂的循环逻辑和人工干预能力提供低级、有状态的编排。LangSmith 作为大规模运行代理的运营层，提供可观测性和部署功能。
-
大型语言模型提示词修改绕过测试，导致准确率显著下降
在对系统提示词进行了一个微小的单词修改后，大型语言模型提取准确率从0.87显著下降到0.78。这暴露了当前大型语言模型应用开发中的一个关键漏洞：提示词的更改通常会绕过代码所经历的严格测试和验证。作者提倡在持续集成（CI）管道中实施一个“提示词回归门”，其中包括一个固定的评估数据集、一个一致的评分指标和一个增量阈值，以防止有害的提示词修改。
-
Langfuse 和 LangChain4j 将在 dev2next 会议上展示
Sebastian Rabiej 将在 dev2next 会议上展示 Langfuse，演示它如何帮助团队观察和理解由大型语言模型驱动的应用。会议还将涵盖使用 LangChain4j 构建功能。
-
作者自托管 Langfuse 以应对 LLM 追踪量增加带来的成本
作者决定自托管 Langfuse（一个开源 LLM 工程平台），因为他们的月追踪量超过了 10 万次，使得云服务的 Pro 套餐成本显著增加。这一举动是由于该工具在关于工具成本上升的讨论中出现的频率越来越高。设置自托管版本的过程大约需要一周时间以确保生产就绪，作者为其他考虑此方法的人提供了指南。Langfuse 于 2026 年 1 月被 ClickHouse 收购，但其核心平台仍然是开源且积极维护的。