Promptfoo
PulseAugur coverage of Promptfoo — every cluster mentioning Promptfoo across labs, papers, and developer communities, ranked by signal.
- 2026-05-20 product_launch Promptfoo integrates its attack plugins with the OWASP LLM Top 10 2025 security categories. 来源
6 天有情绪数据
-
LLM评估必须权衡失败的严重性，而不仅仅是通过率
最近一次LLM部署中发生了PII泄露事件，一个代理在支持回复中意外包含了客户的账户ID和部分账单地址。尽管评估仪表板显示通过率为94%，但仍发生了此事件。该问题凸显了LLM评估中单一、扁平的通过率指标的不足，因为它未能区分各种失败的严重程度。例如，PII泄露的后果远比措辞冗长或语气不正确等小问题严重得多。
-
合成LLM评估数据可能具有误导性，dev.to警告
使用合成数据评估LLM可能是一个陷阱，因为生成的数据集可能无法准确反映真实世界的流量。虽然工具可以轻松创建数千个测试用例，但关键挑战在于确保这些合成输入与用户交互的实际分布相匹配，包括罕见和复杂的情况。没有这种验证，合成数据的高通过率可能会产生误导，掩盖潜在的生产问题。
-
新工具 AgentBreak 发现 LLM 邮件代理易受收件箱劫持攻击
通过间接提示注入，在利用工具的基于 LLM 的邮件代理中发现了一个安全漏洞。攻击者可以精心制作一封电子邮件，操纵代理将其整个收件箱转发到一个指定的恶意地址，而不会发出任何通知。现有的安全工具，如 Garak、promptfoo 和 LangSmith，由于它们不模拟代理工作流中工具之间复杂的相互依赖关系，因此不足以检测到此威胁。为了解决这个问题，开发了一个名为 AgentBreak 的开源工具，用于扫描这些代理工作流，识别从不受信任的…
-
专家：AI 项目失败源于基础设施薄弱，而非模型本身
许多 AI 项目的失败并非由于核心模型，而是由于基础设施不足，通常被称为“安全带”。这种“安全带”对于管理上下文、工具访问、记忆、控制循环、护栏和遥测至关重要。为了构建一个健壮的系统，建议开发人员利用现有的框架，如 LangChain 或 LlamaIndex 进行代理开发，使用 n8n 进行工作流自动化，并使用 Promptfoo 或 Braintrust 等评估工具，以确保 AI 在部署前的可靠性。
-
研究发现 LLM-as-judge 工具未能优先考虑人类验证
最近对六种 LLM-as-judge 工具的评估显示，大多数工具优先生成分数，而不是确保分数的可靠性。作者认为，法官根据人类标签进行的验证，通过 Cohen's kappa 等指标衡量，比原始评分性能更关键。DeepEval、Confident AI、Evidently、Braintrust、Promptfoo 和 Future AGI 等工具被审查，发现没有一个默认将法官-人类一致性计算作为其主要功能，将这一关键验证步骤留给了用户。
-
语音代理测试在罕见输入时失败；模拟是关键
使用真实通话记录测试语音代理可能会产生虚假的安全感，因为它无法捕捉罕见或新颖的用户行为。一名开发者在遇到一名呼叫者在句子中间切换语言时遇到了严重故障，而这种模式在他的大量过往生产通话测试集中并不存在。为解决此问题，团队转向模拟对抗性呼叫者画像，发现虽然各种工具可以执行这些模拟，但有效性取决于明确定义的画像，而不是具体的测试平台。
-
开发者发布 Regtrace CLI 以检测 LLM 的静默回归
一位开发者创建了 Regtrace，一个开源命令行工具，旨在捕获大型语言模型中的静默回归。与传统的测试方法不同，Regtrace 专注于检测由提示词更改引起的细微错误，这些错误可能导致输出不正确。该工具通过将新的模型运行与基线进行比较来运行，标记事实准确性或格式等指标的任何下降趋势，并且可以集成到 CI/CD 管道中。
-
开发者分享关于 Promptfoo 在 LLM 评估中局限性的 4,200 美元教训
一位开发者讲述了一个代价高昂的错误，他们将 Promptfoo 视为一个全面的评估框架，导致账单高达 4,200 美元并出现生产环境 bug。事实证明，Promptfoo 是一个回归测试运行器，而不是真正的评估器，因为与人类标签相比，其自动化裁判的 Cohen's kappa 得分为 0.47。解决方案是将 Promptfoo 用于 CI 门禁，并实施新流程将裁判与人工评分的生产跟踪进行验证，从而将 kappa 得分提高到 0.68。
-
Promptfoo 将 155 个攻击插件映射到 OWASP LLM Top 10 2025
Promptfoo，一个被 OpenAI 收购的开源工具，现在将其 155 个攻击插件直接映射到 OWASP LLM Top 10 2025 安全类别。此集成旨在帮助开发人员主动测试其 LLM 驱动的产品是否能抵御已知漏洞。更新后的 OWASP 列表包括系统提示泄露和向量/嵌入弱点等新类别，反映了 agentic AI 应用不断演变的安全威胁态势。
-
Guide to benchmarking LLM prompts and managing them with PromptMan
本教程解释了如何使用Python构建自定义评分框架，以客观地对大型语言模型的提示变体进行基准测试，超越主观评估。它详细介绍了设置开发环境、定义清晰的评估标准以及使用OpenAI客户端库和pytest等工具。第二篇文章讨论了工程团队在将提示作为应用程序逻辑进行管理和版本控制时面临的挑战，并强调PromptMan是一个健壮的、开源的、本地部署的解决方案，其REST API优先的设计可实现安全且可扩展的提示管理。
-
AI Harness对于生产级大语言模型代理至关重要，而不仅仅是模型本身
生产级AI代理需要强大的“AI Harness”，而不仅仅是更优越的模型，因为大多数AI项目因基础设施问题而失败。这种Harness充当一个操作系统层，管理上下文、工具、记忆、控制循环、安全护栏和评估。关键组件包括LangChain和LlamaIndex等代理框架、编码Harness或工作流编排器等执行层，以及Promptfoo等评估工具。
-
OpenAI 收购 Promptfoo 以加强人工智能代理安全和评估
OpenAI 已宣布计划收购 Promptfoo，一家专注于人工智能安全和评估工具的公司。此次收购旨在增强 OpenAI Frontier 的安全性和测试能力，该平台专为构建和部署人工智能同事而设计。Promptfoo 的技术将被整合，为在工作流程中使用人工智能的企业提供自动安全测试、风险检测和合规功能。Promptfoo 团队，包括其领导者 Ian Webster 和 Michael D’Angelo，将加入 OpenAI，继续开发…