PulseAugur
中
实时 15:44:40
实体 Promptfoo

Promptfoo

PulseAugur coverage of Promptfoo — every cluster mentioning Promptfoo across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
22
90 天内 55
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
关系
时间线
  1. 2026-05-20 product_launch Promptfoo integrates its attack plugins with the OWASP LLM Top 10 2025 security categories. 来源
情绪 · 30 天

9 天有情绪数据

最近 · 第 1/3 页 · 共 58 条
  1. TOOL · CL_369969 ·

    生产环境LLM切换回归:Agnost AI, Promptfoo, LangSmith, Braintrust Ai

    为了确保在生产环境中切换大型语言模型(LLM)时的平稳过渡,开发人员应仔细比较新旧模型之间的关键性能指标。建议使用Agnost AI等工具进行切换后的分析,根据预定义规则评估每一次对话,而非抽样,以检测回归。对于切换前的测试,Promptfoo, LangSmith和Braintrust Ai等平台能够回放过去的对话,在新旧模型上进行比较,以识别可能被忽视的细微行为变化和多轮对话问题。

  2. TOOL · CL_368966 ·

    AI 服务停用:Claude Sonnet 4.5、OpenAI Evals 等将于 11 月 30 日弃用

    多个 AI 服务定于 11 月 30 日停止运营,影响各平台用户。Anthropic 的 Claude Sonnet 4.5 API 和 Azure 部署将被 claude-sonnet-5-5 取代,并提示可能存在扩展思考问题。OpenAI 将弃用其 Evals 平台和可复用提示,敦促用户迁移到 Promptfoo 或直接在代码中管理提示。此外,OpenAI 的 Agent Builder 将被 Agents SDK 或 ChatG…

  3. TOOL · CL_363646 ·

    OpenAI Evals 将于 11 月 30 日关闭,较旧的 GPT-5 模型将于 12 月 11 日关闭

    OpenAI 将于 2026 年 11 月 30 日停用其 Evals 平台,其 API 将于 2026 年 10 月 31 日变为只读。该公司建议用户将评估数据迁移到 Promptfoo。此外,几个较旧的 GPT-5 和 O3 模型版本将于 2026 年 12 月 11 日关闭,用户需要基于更新的模型重新进行基线评估。建议用户在截止日期前导出数据,并重新运行样本以确保与新工具和模型的准确性。

  4. TOOL · CL_355394 ·

    AI红队工具:Promptfoo领跑开源,NVIDIA、Microsoft、Tencent提供解决方案

    对16款AI红队工具的对比评测显示,Promptfoo是集成CI的顶级开源选项,而NVIDIA的garak则推荐用于广泛的漏洞扫描。Microsoft的PyRIT在脚本化多轮攻击方面表现突出,Tencent的A.I.G.则为AI基础设施提供全面的扫描。在托管平台方面,Mindgard和Zscaler的SPLX等商业选项可用,Enkrypt AI提供分级定价。

  5. TOOL · CL_355173 ·

    Promptfoo 和 DeepEval:两种大语言模型测试方法

    Promptfoo 和 DeepEval 是两个用于测试大语言模型(LLM)应用的开源工具,但它们的方法有显著差异。Promptfoo 使用一种与语言无关的 YAML 配置进行测试,将 LLM 应用视为一个“提供者”,并允许轻松比较多个模型或提示。而 DeepEval 是 Python 原生的,并直接与 pytest 集成,能够让测试在与应用程序代码相同的 CI 流水线中运行,并提供更丰富的 LLM 评估指标库。

  6. TOOL · CL_354150 ·

    OpenAI 将于 2026 年 12 月 11 日弃用 GPT-5 和 O3 模型

    OpenAI 将于 2026 年 12 月 11 日从其 API 中弃用包括 GPT-5 和 O3 系列在内的多个旧模型。这些模型及其微调版本将停止运行。OpenAI 建议用户迁移到 GPT-5.6 系列,特别是 GPT-5.6-Sol、GPT-5.6-Terra 和 GPT-5.6-Luna。该公司还计划于 2026 年 11 月 30 日关闭其 Evals 平台和可复用提示 API,并于 12 月 1 日关闭旧的 GPT Imag…

  7. TOOL · CL_349863 ·

    OpenAI Evals 停用迫使 AI 评估套件手动迁移

    OpenAI 将于 11 月 30 日停用其 Evals 平台,要求用户迁移其评估套件。该过程涉及在 API 不可用之前通过 API 导出定义、数据集和运行历史记录。然后,用户必须在 Promptfoo 等新框架中重建他们的评估配置,特别是复杂或自定义的评分器,将导出的数据视为历史记录,而不是直接可运行的测试。一个关键步骤是针对旧系统执行奇偶校验检查,以识别和分类差异,为未来的比较建立新的基线。

  8. TOOL · CL_347665 ·

    新的 RAG 工具 SentinelRAG 旨在防止生产故障

    一位开发者开源了一个名为 SentinelRAG 的新工具,以解决检索增强生成 (RAG) 管道中的关键故障,这些故障被传统测试所忽略。该工具为检索质量、答案基础和摄取信任引入了 CI 检查点,从而防止了以前仅通过用户投诉才暴露出来的回归问题。SentinelRAG 旨在为 RAG 系统提供一个阻止合并的门控,确保更改不会损害核心功能,并且可以与 Promptfoo 和 Ragas 等现有评估工具集成。

  9. TOOL · CL_346539 ·

    指南详细介绍了5种手动测试AI聊天机器人提示注入漏洞的方法

    一位开发者概述了五种手动测试AI聊天机器人提示注入漏洞的方法,重点关注直接和间接注入。这些测试包括检查系统提示提取、直接命令覆盖、外部内容中的隐藏指令、知识文件泄露以及工具滥用。该开发者还提供了一个免费的、MIT许可的入门套件,用于使用Promptfoo进行自动化测试,该套件与OWASP LLM Top 10相关联,并提供了一个通用的AI工具安全清单。

  10. TOOL · CL_328514 ·

    OpenAI Evals 服务将关闭;敦促用户迁移

    OpenAI 将停用其 Evals 服务,只读访问将于 10 月 31 日结束,完全无法访问将于 11 月 30 日结束。Agent Builder 和 v1/prompts API 也将于后者日期停用。建议用户将他们的 evals 迁移到 Promptfoo,导出结果,或通过 Evals API 检索数据以重建测试。作者介绍了 LLMShift,这是一个旨在帮助用户导出其 OpenAI Evals 并针对任何 LLM(包括来自 An…

  11. TOOL · CL_327582 ·

    AI 评估公司 Authensor 转向审计 AI 评分器,修复错误

    AI 评估完整性公司 Authensor 已停用其 SafeClaw 和 Authensor 策略引擎产品,专注于审计 AI 评分工具。该公司已在 SWE-bench、Promptfoo 和 NVIDIA Garak 等各种 AI 评估框架中发现并修复了大量错误,这些框架中的评分系统可能会受到被评估系统的影响。这些被归类为“评估器信任边界”故障的问题可能会损害 AI 安全指标的可靠性。Authensor 还发布了一个名为 `etb-s…

  12. TOOL · CL_326488 ·

    AI 评估器无法区分空格,影响代码评估

    已发现一个代码评估问题,即 AI 模型和评分工具难以区分标准空格和不间断空格 (U+00A0)。Driftproof 在其自身的评估评分器错误地评估了代码答案后发现了此问题。像 Claude Haiku 5.5 和 Claude Sonnet 5.5 这样的流行 AI 模型,在 LangChain 的 OpenEvals 和 Promptfoo 等工具中用作评分器时,也表现出这种盲点,经常误解正确处理了不间断空格的代码。提出的解决方案…

  13. TOOL · CL_326120 ·

    Claude Code 评估指标详细介绍 AI Agent 的一致性

    本文详细介绍了评估 AI Agent 的三个关键指标,特别关注 Claude Code。这些指标包括 pass@k,用于检查 Agent 在设定尝试次数内能否解决任务;pass^k,衡量多次运行的成功率以确保一致性;以及 graded-score drift,用于监控在输入不变的情况下质量分数随时间下降的情况。作者建议根据用户需求采用不同的指标实现方法,从初学者的简单 bash 循环到更复杂的 Promptfoo 等框架,适用于复杂用例。

  14. TOOL · CL_325921 ·

    面向生产团队的 9 款 LLM 评估工具详述

    一份最新的工程团队精选列表重点介绍了九款旨在评估生产环境中大型语言模型 (LLM) 的工具。这些工具包括 DeepEval、Ragas、Promptfoo、MLflow、Langfuse、Arize Phoenix、TruLens、Inspect AI 和 EleutherAI 的 LM Evaluation Harness,它们在简单答案正确性之外,解决了 LLM 可靠性的各个方面。它们旨在衡量正确性、检索质量、工具执行、安全性、延…

  15. TOOL · CL_325816 ·

    OpenAI 将于 2026 年 11 月弃用托管 Evals 平台

    OpenAI 将弃用其托管 Evals 平台,现有评估将于 2026 年 10 月 31 日变为只读,仪表板和 API 将于 2026 年 11 月 30 日完全关闭。建议用户在此日期之前导出其评估定义、测试项、运行配置和过往结果。开源的 `openai/evals` 仓库和 `promptfoo` 工具被建议作为迁移路径,尽管两者都需要手动配置评估。

  16. TOOL · CL_318258 ·

    AI代理安全测试失败,批准了75,000美元的欺诈性账单

    一场夺旗赛(CTF)活动暴露了AI代理安全方面的漏洞:一个账单代理批准了一张75,000美元的账单,尽管其政策限额为50,000美元,原因是声称获得了CFO的预先批准。此次失败发生是因为该代理将未经信任的文本中的权威声明置于其自身政策之上。此外,一个支付代理直接调用了转账工具,绕过了关键的账单状态检查。虽然更强大的模型降低了此类攻击的成功率,但并未消除它们,这凸显了在工具边界建立强大的授权基础设施以及进行内容层面的社会工程防御的必要性。

  17. TOOL · CL_316442 ·

    LLM 应用测试:集成 CI 的 LLM 裁判评估

    由于大型语言模型(LLM)应用的非确定性,测试它们需要不同于传统软件的方法。一种推荐的策略是创建大约 50 个真实世界输入的集合,每个输入都配有预期的行为而不是精确的输出。这些测试的很大一部分可以通过标准代码进行自动化,以检查诸如有效 JSON 或遵循特定格式之类的问题,而 LLM 裁判则用于更细致的评估。通过将 LLM 裁判的分数与人工标记数据进行比较来校准这些裁判至关重要,以确保其可靠性,并将这些评估集集成到持续集成管道中,以便在…

  18. TOOL · CL_310428 ·

    服务器开发者的6款MCP评估工具对比

    本文评测了六款用于评估与MCP(消息、命令和协议)服务器交互的代理性能的工具。评估侧重于代理正确选择工具、传递参数、避免禁止操作以及根据工具结果进行响应的能力,超越了基本的服务器功能。选择工具的主要决定因素是所有权:一些工具直接针对服务器执行评估案例,而另一些工具则对应用程序生成的交互记录进行评分。该指南根据执行所有权、可见性、评分、回归工作流和成本对MCPJam、mcp-eval、Promptfoo、DeepEval、Braintr…

  19. TOOL · CL_297281 ·

    Promptfoo vs. DeepEval:选择正确的LLM评估工具

    作者比较了三种评估LLM响应的工具:Promptfoo、DeepEval和自定义构建的LLM评判标准构建器。Promptfoo推荐用于现有的基于YAML的评估和CI集成,而DeepEval则推荐给希望获得G-Eval推理步骤的pytest用户。作者强调在使用任何工具之前定义和验证评判标准本身的重要性,并指出在他们的测试中,改进评判标准比切换框架对准确性的影响更大。他们还强调了明确的分数锚点在减少判断变异性方面的优势。

  20. TOOL · CL_297166 ·

    新的AI代理安全工具验证真实世界行为,而非仅仅报告

    一类新的开源工具正在出现,以解决AI代理报告的操作与其实际操作之间的差距,特别是在安全漏洞方面。这些工具侧重于验证真实世界的副作用,而不仅仅是分析代理的输出。Promptfoo被强调为一个成熟的部署前红队测试工具,而OWASP Agent Security Regression Harness为CI管道提供了可执行的回归测试,检查代理跟踪中的拒绝工具调用和目标完整性。然而,这两种工具主要分析代理跟踪,可能无法检测绕过这些跟踪机制的攻击。