Arize Phoenix
PulseAugur coverage of Arize Phoenix — every cluster mentioning Arize Phoenix across labs, papers, and developer communities, ranked by signal.
- acquired by Langfuse 90%
- acquired by ClickHouse 90%
- competes with Langfuse 70%
- competes with Future AGI 70%
- competes with Helicone 70%
- competes with ClickHouse 60%
- uses Langfuse 50%
- affiliated with Braintrust Ai 50%
- affiliated with Langfuse 50%
- other Helicone 50%
- competes with Braintrust Ai 50%
- used by ClickHouse 50%
3 天有情绪数据
-
Arize Phoenix 分析 Jevíčko 电话，Sol 6.1 被选为每日评估
作者在 Arize Phoenix 中设置了提示、评估和数据集，以分析 Jevíčko 电话。初步结果显示，评判者之间的分歧比预期要大。对于自动每日评估，选择了 Sol 6.1，并计划进行进一步的抽查和使用标记数据开发分类模型。
-
开发者分享免费 AI 层级，但需要更好的使用跟踪以避免生产问题 · 跟踪 6 个来源
开发者越来越多地分享免费的 AI 模型层级，但这种做法可能因管理不善的使用和不明确的条款而在生产事件中导致问题。为缓解这些问题，需要一个强大的系统来跟踪使用情况，定义管理资源的明确角色，并实施“退出票证”机制。这包括创建本地代币分类账，并定义运行的具体结束状态，例如完成、配额削减或重启削减，以确保准确的性能指标并防止意外的服务中断。
-
7 种生产模式用于训练 AI 代理的详细介绍
为生产环境训练 AI 代理涉及一个以基础设施和数据为中心的循环过程。关键步骤包括记录每次代理运行以捕获详细跟踪信息，利用这些跟踪信息从真实流量中构建评估数据集，并对这些跟踪信息进行标注以识别失败。该过程强调提示工程存在局限性，并且使用 LoRA 等技术进行微调至关重要，然后在训练前冻结评估集并重复该循环。大部分工作投入在底层基础设施上，而不是代理的核心逻辑上。
-
AnythingLLM 和 Arize Phoenix 发布更新
AnythingLLM 发布了 1.17.0 版本，其中包括对电子表格日期处理的修复以及对模型令牌管理的增强。此外，Arize Phoenix 的 v20.19.0 版本也进行了更新，重点是改进跟踪和数据生成。
-
Langfuse、Phoenix、Promptfoo 和 Iris：AI 代理评估工具对比
四款不同的工具——Langfuse、Arize Phoenix、Promptfoo 和 Iris——提供了评估 AI 代理性能的不同方法。Langfuse 和 Arize Phoenix 是已集成评估功能的观测平台，其中 Langfuse 使用 SDK，Arize Phoenix 利用 OpenTelemetry。Promptfoo 作为 LLM 应用的命令行测试运行器，而 Iris 是一个旨在通过确定性规则评估代理跟踪的评估服务器。…
-
软件更新：Chatwoot、Calibre、Teable、Convex AI Gateway 和 Arise-Phoenix
本次更新重点介绍了多项软件发布和增强功能。Chatwoot v4.18.0 引入了改进的 WhatsApp 设置和通话功能。还提到了 Calibre v9.15.0，以及 Teable 的最新版本，该版本包括对大型工件更好的处理和对例行运行的更多控制。此外，Convex 已将其 AI Gateway 集成到其使用限制中，而 Arize-Phoenix v2.14.0 包括基准测试和更新的模型代币价格。
-
软件更新包括内存优化和服务器升级
此次更新详细介绍了多个项目的多项软件增强和错误修复。值得注意的是，索引键内存使用量已减半，MCP 服务器已升级到 FastMCP。此外，还发布了新版本的 fluxer-app-proxy-self-hosted。
-
LLM可观测性工具捕获数据但未能判断代理输出质量
文章讨论了LLM基础设施的演变，从直接的供应商SDK转向LLM网关和专用可观测性堆栈。虽然LiteLLM和Portkey等网关简化了模型切换，但Langfuse和LangSmith等可观测性工具捕获了详细的跟踪数据。然而，作者认为，当前的可观测性解决方案侧重于观察代理行为，而不是评估其输出的质量或正确性，这在理解代理性能方面留下了关键的空白。
-
ClickHouse 以 4 亿美元收购 LLM 可观测性平台 Langfuse
ClickHouse 在其 4 亿美元的 D 轮融资中收购了开源 LLM 可观测性平台 Langfuse，此轮融资使 ClickHouse 的估值达到 150 亿美元。此次收购凸显了 LLM 可观测性市场日益增长的重要性，该市场预计到 2030 年将达到 92.6 亿美元。值得注意的是，Langfuse 及其竞争对手 Helicone 都使用 ClickHouse 进行分析，这表明 LLM 跟踪数据正朝着专用存储引擎发展。
-
LLM评估工具提供指标，但关键挑战依然存在
对五个流行的LLM评估工具——Arize Phoenix、DeepEval、Future AGI、Langfuse和Ragas——的回顾表明，虽然它们提供了广泛的预构建指标，但这些指标仅占评估过程的20%的简单部分。这些工具在很大程度上仍未解决的关键挑战是选择与特定故障模式准确对齐的指标以及为结果建立误差范围。作者认为，LLM评估的真正成功取决于理解系统的独特故障分类法并据此选择或创建自定义指标，而不是仅仅依赖提供的商品化指标目录。
-
随着市场蓬勃发展，LLM 可观测性平台在高级功能上出现分化
LLM 可观测性和评估平台市场正在迅速扩张，预计到 2030 年将达到 92.6 亿美元。平台正朝着 AI 原生工具、开源评估库、AI 网关和 APM 扩展等方向多元化发展，并且越来越多地采用 OpenTelemetry 标准以实现互操作性。Langfuse、Helicone、Opik 和 MLflow 等领先平台之间的关键差异化因素在于其高级功能，例如自动跟踪评分、复杂的速率限制规则、用于主题和 PII 检测的集成防护栏，以及具有差…
-
软件更新：Rocket.Chat、Calibre、Arize Phoenix、Revolt
此集群详细介绍了多个项目的软件更新，包括 Rocket.Chat、Calibre、Arize Phoenix 和 Revolt。值得注意的是，Arize Phoenix 19.19.0 版本包含折叠的 LLM 消息，并将 sqlean.py 依赖项进行了更改。Revolt 0.15.0 版本引入了近似成员计数和呼叫事件功能。
-
LangSmith 和 Arize Phoenix 等 RAG 可观测性工具获得关注
检索增强生成 (RAG) 系统正从实验阶段转向聊天机器人和其他应用程序的关键生产组件。为确保这些系统有效运行，强大的可观测性至关重要。LangSmith 和 Arize Phoenix 等工具被重点介绍为追踪和记录 RAG 操作的关键解决方案，为调试和性能监控提供了必要的洞察。
-
ERPNext、Wekan 和 AI 工具获得更新
ERPNext 发布了 16.30.0 版本，引入了可选的成本中心和逾期限制检查。Wekan 10.50 版本解决了与 Windows zip 文件错误相关的 bug。此外，arize-phoenix v19.10.0 增强了实验指标和代币图表细分，Local Deep Research v1.10.0 集成了 AI 驱动的笔记和统一搜索。
-
OpenSmith 发布本地 LLM 追踪重大更新
OpenSmith，作为 LangSmith 的本地优先替代品，现已发布其 LLM 管道追踪功能的重大更新。新版本拥有重新设计的仪表板，支持实时更新，增强了搜索和过滤功能，并提供了将追踪导出为 JSON、CSV 或 OpenTelemetry 后端选项。它还引入了可选的 PostgreSQL 后端和用于成本管理的 token 预算警报。OpenSmith 旨在提供一个零配置、纯本地的追踪解决方案，已有超过 3.7K 的下载量且未投入营…
-
AI代理评估工具现支持分步分析
评估AI代理已不再局限于检查最终结果。截至2026年7月，新的框架支持分步分析，区分不同类型的失败。这些工具现在可以评估特定方面，如正确的工具选择、参数准确性和路径质量，而不仅仅是整体任务完成情况。这些框架的关键区别在于它们依赖LLM裁判进行这些细粒度评估，还是采用确定性的、基于代码的检查。
-
开源更新：Wekan、Coturn 和 Arize-Phoenix 发布修复补丁
此集群详细介绍了多个开源软件项目的更新。Wekan v10.14 已解决与文件名清理相关的安全漏洞。Coturn 4.15.0 包括对 STUN 属性处理的修复和增强的安全检查。此外，arize-phoenix v19.4.0 改进了 UI 一致性并升级了其 AI SDK spans。
-
AI代理评估工具将焦点从最终答案转移到整个过程
评估AI代理需要一种不同于评估单个LLM调用的方法，重点关注代理的整个过程，而不是仅仅最终输出。LangSmith、Galileo、Arize Phoenix、Braintrust、Future AGI和Langfuse等工具提供了不同的能力，其中一些专注于代理工作流，另一些提供开源可观察性。关键在于不仅要对最终答案进行评分，还要对工具选择、参数和从错误中恢复的序列进行评分，以区分真正的推理和运气。
-
新的代理提供自托管 LLM 的每个代理 GPU 成本跟踪
开发了一个新的 LLM 推理代理，以解决自托管模型时 AI 代理成本可见性的差距。与专注于 token 数量的现有工具不同，该代理跟踪 GPU 小时消耗，提供每个代理和模型的精细成本数据。这有助于在迁移到不同 LLM 之前进行更好的预算管理、模型使用策略执行和影响分析。
-
开发者构建 PII 防火墙以阻止敏感数据进入 LLM 提示
一位开发者为 LLM 交互构建了一个 PII 防火墙，以防止敏感数据发送到云端模型。该系统使用 FastAPI 和 Microsoft Presidio 实现，在提示到达 GPT-4o 等模型之前对其进行扫描，阻止任何包含个人身份信息或违反已定义策略的提示。这种方法通过防止数据泄露（而不仅仅是记录）来确保符合 GDPR 等法规。