Gray Swan 公司由 Zico Kolter 和 Matt Fredrikson 联合创立，正在开发用于 AI 安全的工具和方法论，重点关注“灰天鹅”事件——即不太可能但可预见的 AI 事件。他们的工作解决了提示注入等漏洞，尤其是在 AI 代理方面，并开发了 Shade 等用于对抗性红队测试的工具以及 Cygnal 用于策略执行。Kolter 是 OpenAI 的董事会成员，Fredrikson 是 CMU 的教授，他们强调 AI 安全需要一种不同于传统网络安全的思维方式，特别是随着 AI 系统越来越有能力攻击和防御其他 AI 系统。 AI
影响 强调了专业 AI 安全工具日益增长的重要性以及 AI 代理带来的不断演变的威胁格局。
排序理由 该集群讨论了 Gray Swan 开发的 AI 安全工具和方法论，而不是新的模型发布或重大的行业范围事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
