Arize
PulseAugur coverage of Arize — every cluster mentioning Arize across labs, papers, and developer communities, ranked by signal.
-
独立黑客构建每运行 0.20 英镑的 LLM 评估系统以检测错误
一位独立黑客为独立开发者开发了一套经济高效的 LLM 评估系统，每次运行成本约为 0.20 英镑。该系统利用了生产日志中 50-100 对输入-输出的小型黄金数据集，一个旨在根据准确性、语气和格式对响应进行评分的裁判提示，以及一个在性能显著下降时阻止合并的 CI 门。作者建议同时使用 GPT-4o-mini 作为待测模型和裁判 LLM，以最大限度地降低成本，并估计这种 DIY 方法比企业解决方案便宜得多。
-
独立开发者构建廉价的 LLM 评估系统用于 CI
独立开发者和小团队可以构建自己的 LLM 评估系统，以在没有昂贵的企业工具的情况下捕获提示回归。该方法包括创建一个包含真实用户输入的“黄金数据集”，并通过评分标准而不是精确匹配来定义质量。使用像 GPT-4o-mini 这样的廉价评判模型根据此评分标准对输出进行评分，并将该过程集成到 GitHub Actions 等 CI 管道中，可以实现自动质量检查，如果分数低于设定的阈值，则构建失败。这种方法比 Braintrust 或 Lang…
-
Arize 收购 AI 可观测性初创公司 Velvet，整合 LiteLLM 和 Phoenix
Velvet，一个用于分析和监控 AI 请求的开发者网关，已被专注于 AI 评估和可观测性的公司 Arize 收购。此次收购旨在加速 Arize 统一 AI 平台的采用。作为交易的一部分，Velvet 的创始人 Emma 和 Chris 将加入 Arize。此外，该集群还提到了 Phoenix，一个用于 LLM 追踪和评估的开源工具，以及 LiteLLM，一个支持 OpenAI 格式的 100 多个模型的 LLM 网关。