Promptfoo
PulseAugur coverage of Promptfoo — every cluster mentioning Promptfoo across labs, papers, and developer communities, ranked by signal.
- acquired Ragas 95%
- acquired by DeepEval 90%
- used by Braintrust Ai 70%
- competes with Pyrit 70%
- competes with Future AGI 70%
- competes with R. Giskard Reventlov 70%
- competes with DeepEval 60%
- uses DeepEval 60%
- used by Ragas 60%
- competes with Braintrust Ai 60%
- uses Braintrust Ai 60%
- used by DeepEval 60%
- 2026-05-20 product_launch Promptfoo integrates its attack plugins with the OWASP LLM Top 10 2025 security categories. 来源
7 天有情绪数据
-
Microsoft 存档 PyRIT LLM 红队测试工具；替代方案出现
Microsoft 已于 2026 年 3 月 27 日在 GitHub 上存档了其开源 LLM 红队测试框架 PyRIT。这意味着该工具不再接收更新、提交或问题分类，使其成为构建自定义攻击序列的不可靠基础。对于寻求替代方案的用户，推荐使用 promptfoo 进行应用层扫描，garak 进行模型层测试，Giskard 进行付费连续扫描，以及 sentinel-scan-cli 进行快速、无依赖的烟雾测试。
-
用于LLM提示注入测试的开源工具对比
存在一些开源工具可用于测试LLM应用程序是否存在提示注入漏洞，但它们不能互换使用，并且满足不同的测试需求。Promptfoo、Giskard和sentinel-scan-cli专注于应用层测试，评估应用程序的提示和逻辑，其中Promptfoo被广泛采用，并被OpenAI和Anthropic等公司使用。Garak由NVIDIA维护，是一个模型层工具，独立于应用程序测试底层模型的攻击易感性。Microsoft的PyRIT已归档，曾提供多轮…
-
新工具evalmut通过故意损坏的模型测试LLM评估套件
一个名为evalmut的新工具被开发出来，通过引入变异测试来解决LLM评估套件的局限性。该工具包含一个由六个确定性模型组成的“参考舰队”，每个模型都以特定、有据可查的方式故意损坏。这种方法旨在提供一种更严格、可验证的测试LLM评估套件的方法，类似于计量学中使用的认证参考物质。初步测试表明，基本的评估套件会遗漏相当一部分缺陷类别，这凸显了对更健壮的测试方法的需求。
-
Z.ai 的 GLM-5.3 为 dev.to 的内容管道提供支持，指令遵循能力得到提升
Z.ai 发布了其最新模型 GLM-5.3，该模型现已为 dev.to 的日常内容管道提供支持。据早期观察，通过与 OpenAI 兼容的 API 即可访问的新模型在指令遵循和代码推理方面表现出更强的能力。集成过程无缝，仅需更改模型 ID 字符串，没有其他迁移障碍。
-
Promptfoo 提供评估驱动的提示词开发
Promptfoo 是一款旨在通过取代主观判断来改进 AI 提示词开发的工具。
-
研究发现代理系统提示可能会损害 LLM 性能
一项衡量代理系统提示有效性的实验发现，大多数提示实际上会降低模型性能。Anthropic 的 Boris Cherny 指出，在删除了 Claude Code 80% 的系统提示后，其智能水平有所提高。作者使用 Charlie Hills 的协议进行了自己的审计，测试了 19 种代理配置，将它们的系统提示替换为基本的助手提示，结果发现其中 15 种得分较低，表明这些提示阻碍了性能而非增强了性能。
-
Bonsai 27B 2位模型在本地使用方面显示出潜力，但在复杂任务上表现滞后
最近的一项比较在MacBook M1上评估了Bonsai 27B 2位模型与Qwen3 14B、GPT OSS 20B和Gemma 4-12B等其他本地LLM。Bonsai 27B在较短的任务上表现良好，成功完成了包括数学、代码生成和工具调用在内的十项基本技能测试中的九项，展示了其在内存有限设备上的能力。然而，它在复杂的、多步计算任务上遇到了困难，返回了一个空列表，而Qwen3 14B尽管存在轻微的计算错误，但对于此类要求更高的任务来…
-
EvalPort 推出 11 种评分器类型，实现灵活的 LLM 评估
EvalPort 开发了一个灵活的评分器系统，旨在适应各种 LLM 评估框架。该系统具有 11 种不同的评分器类型，每种类型都有特定的参数和评估方法，旨在广泛应用于实际场景。这种设计使得评估套件能够自描述，并允许不同的框架使用标准化的评分器 ID 来实现和比较结果。
-
本地分类器取代昂贵的 LLM 作为评判者，用于 AI 评估
一种替代使用大型语言模型（LLM）进行评估的方法已被开发出来，解决了基于 API 的评判所带来的高成本和延迟问题。这种新方法采用本地二元分类器，使用句子转换器和逻辑回归进行训练，以区分好与坏的响应。该系统在编码问答数据集上实现了约 75% 的准确率，并且成本显著降低、速度更快，使其适用于持续集成管道和 API 访问受限的环境。
-
OpenAI收购Promptfoo引发对LLM评估独立性的辩论
OpenAI对Promptfoo的收购促使人们重新评估LLM评估工具，突显了对供应商依赖和成本的担忧。作者提出了一种替代方法，使用自定义训练的分类器，结合Sentence Transformers和逻辑回归，该方法提供离线执行、供应商独立性以及比基于LLM的评分方法更快的评估速度。这种方法需要标记的训练数据，但为CI/CD管道提供了一种经济高效且可控的解决方案。
-
大型语言模型提示词修改绕过测试，导致准确率显著下降
在对系统提示词进行了一个微小的单词修改后，大型语言模型提取准确率从0.87显著下降到0.78。这暴露了当前大型语言模型应用开发中的一个关键漏洞：提示词的更改通常会绕过代码所经历的严格测试和验证。作者提倡在持续集成（CI）管道中实施一个“提示词回归门”，其中包括一个固定的评估数据集、一个一致的评分指标和一个增量阈值，以防止有害的提示词修改。
-
新的AI碰撞测试工具提供可审计的LLM漏洞分级
一款名为The AI Crash Test的新型浏览器工具提供了一种确定性的方法来评估LLM漏洞，避免使用LLM裁判以确保结果可审计。该工具允许用户直接使用自己的API密钥测试模型，这些密钥永远不会发送到该工具的服务器，从而提供了一个安全且可复现的测试环境。虽然Garak和Promptfoo等现有工具提供更广泛的功能，但The AI Crash Test专注于基于浏览器的、自带密钥测试以及可验证的评分引擎的特定领域。
-
新工具'muteval'测试LLM评估的鲁棒性
Ashwin Ugale开发了一个名为muteval的新工具，该工具借鉴了软件工程中的变异测试，用于评估大型语言模型（LLM）评估套件的鲁棒性。Muteval通过修改提示、删除文档或替换模型来故意降低系统性能，然后重新运行现有的评估指标，以识别覆盖范围的不足。对open-rag-eval的早期测试表明，引用检查未能发现一个关键的失败案例，即在缺乏上下文的情况下，模型被允许编造答案，这凸显了对更全面的评估策略的需求。
-
LLM法官引入系统性偏见，扭曲评估结果
使用大型语言模型（LLM）作为评判其他LLM输出的法官会引入系统性偏见，例如位置、冗长和自我偏好，这些偏见无法像随机噪声一样被平均掉。这些偏见会扭曲评估结果，导致对模型性能的评估不准确。虽然GPT-4等工具在超过80%的情况下可以与人类偏好达成一致，但其固有的偏见意味着报告的分数可能反映的是法官的特性，而不是模型的真实能力。开发人员在解释评估指标时必须考虑到这些系统性错误，以避免错误地归因性能特征。
-
LLM-as-judge CI门禁产生意外成本；确定性替代方案提供节省
一位工程师发现，使用LLM-as-judge指标进行CI/CD评估门禁会产生显著的持续成本。这些评估拉取请求的门禁，由于需要对OpenAI等模型进行重复的API调用，可能会产生巨额账单。该工程师发现，像Promptfoo、MLflow和Future AGI这样的确定性评估框架，可以在不进行模型调用的情况下执行类似的门禁功能，因此每个拉取请求的成本为零。这种方法避免了对外部API定价、延迟和速率限制的依赖，为CI/CD质量门禁提供了更具…
-
Promptfoo、DeepEval 在 CI 可靠性方面领先开源 LLM 评估框架
对六个开源 LLM 测试框架的评估显示，在八个月的时间里，只有 Promptfoo 和 DeepEval 能够可靠地通过持续集成 (CI) 检查。成功框架的关键区别在于其确定性，提供一致的通过/失败结果和快速的退出代码，这对于合并队列门禁至关重要。那些严重依赖 LLM-as-judge 指标但没有确定性种子的框架被证明是不可靠的，导致不必要的延迟并训练团队绕过门禁。
-
Promptfoo 框架为生产环境 QA 工程师简化 LLM 测试
Promptfoo 是一个开源框架，旨在解决在生产环境中测试大型语言模型 (LLM) 所面临的独特挑战。与传统的软件测试不同，由于 LLM 的概率性本质，LLM 测试需要重新定义“正确性”。Promptfoo 使工程师能够将提示及其配置视为可版本控制的代码，确保在模型更新和温度变化时的稳定性。该框架支持对格式错误输出或成本超支等常见问题的确定性断言，并允许通过 JavaScript 或 Python 进行自定义检查以应对更复杂的场景。
-
LLM评估必须权衡失败的严重性，而不仅仅是通过率
最近一次LLM部署中发生了PII泄露事件，一个代理在支持回复中意外包含了客户的账户ID和部分账单地址。尽管评估仪表板显示通过率为94%，但仍发生了此事件。该问题凸显了LLM评估中单一、扁平的通过率指标的不足，因为它未能区分各种失败的严重程度。例如，PII泄露的后果远比措辞冗长或语气不正确等小问题严重得多。
-
合成LLM评估数据可能具有误导性，dev.to警告
使用合成数据评估LLM可能是一个陷阱，因为生成的数据集可能无法准确反映真实世界的流量。虽然工具可以轻松创建数千个测试用例，但关键挑战在于确保这些合成输入与用户交互的实际分布相匹配，包括罕见和复杂的情况。没有这种验证，合成数据的高通过率可能会产生误导，掩盖潜在的生产问题。
-
新工具 AgentBreak 发现 LLM 邮件代理易受收件箱劫持攻击
通过间接提示注入，在利用工具的基于 LLM 的邮件代理中发现了一个安全漏洞。攻击者可以精心制作一封电子邮件，操纵代理将其整个收件箱转发到一个指定的恶意地址，而不会发出任何通知。现有的安全工具，如 Garak、promptfoo 和 LangSmith，由于它们不模拟代理工作流中工具之间复杂的相互依赖关系，因此不足以检测到此威胁。为了解决这个问题，开发了一个名为 AgentBreak 的开源工具，用于扫描这些代理工作流，识别从不受信任的…