Gray Swan
PulseAugur coverage of Gray Swan — every cluster mentioning Gray Swan across labs, papers, and developer communities, ranked by signal.
- 2026-05-28 funding AI security startup Gray Swan raised $40 million in Series A funding, reaching a $200 million valuation. 来源
1 天有情绪数据
-
Anthropic 的 Opus 5 在提示注入抵抗力方面取得重大进展 · 跟踪到 1 个来源
Anthropic 的 Opus 5 模型在抵抗提示注入攻击方面表现出显著的改进，在结合额外的系统级防御措施时，成功率接近于零。虽然模型本身更加健壮，但专家强调，对 AI 系统的真正信任依赖于分层方法，包括预执行伪影扫描和受限执行模式，而不仅仅依赖于模型的固有属性。这种纵深防御策略至关重要，因为不同的模型具有不同级别的注入抵抗力，并且恶意指令可以直接嵌入系统提示中，绕过模型特定的防御措施。
-
提示注入攻击通过利用AI模型功能而非覆盖它们来成功
最近对AI红队测试竞技场的探索表明，直接忽略先前指令的命令对经过加固的模型无效。相反，成功的提示注入攻击通过将恶意输出重新构建为一项合法任务来利用模型的预期功能。例如，一个摘要机器人被要求仅提取给定笔记的最后一句，从而被诱骗输出特定短语，有效地利用其核心功能来实现攻击者的目标。
-
Gray Swan 通过先进的红队测试工具应对 AI 安全风险
Gray Swan 公司由 Zico Kolter 和 Matt Fredrikson 联合创立，正在开发用于 AI 安全的工具和方法论，重点关注“灰天鹅”事件——即不太可能但可预见的 AI 事件。他们的工作解决了提示注入等漏洞，尤其是在 AI 代理方面，并开发了 Shade 等用于对抗性红队测试的工具以及 Cygnal 用于策略执行。Kolter 是 OpenAI 的董事会成员，Fredrikson 是 CMU 的教授，他们强调 A…
-
AI安全公司Gray Swan融资4000万美元，估值2亿美元
AI初创公司Gray Swan已完成4000万美元的A轮融资，公司估值达到2亿美元。该公司雇佣了约15000名安全专业人士，他们扮演黑客的角色，对OpenAI和Anthropic等主要实验室的AI模型进行压力测试。这些数据用于训练Gray Swan的AI代理Shade和Cygnal，它们能够识别和缓解AI系统中的漏洞，防止生成有害内容或未经授权的工具访问。该公司的创始人，教授Matt Fredrikson和Zico Kolter，在A…
-
OpenAI 任命 AI 安全专家 Zico Kolter 加入其董事会
OpenAI 已任命卡内基梅隆大学教授兼机器学习系主任 Zico Kolter 加入其董事会。Kolter 在 AI 安全、对齐和模型鲁棒性方面的专业知识有望加强 OpenAI 的治理。他还将担任董事会安全与安保委员会成员，为所有 OpenAI 项目的关键安全决策做出贡献。