Matt Fredrikson
PulseAugur coverage of Matt Fredrikson — every cluster mentioning Matt Fredrikson across labs, papers, and developer communities, ranked by signal.
-
Gray Swan重启AI红队演练平台以应对AI代理
AI安全公司Gray Swan已重启其红队演练平台Arena,以应对AI代理带来的不断演变的安全挑战。更新后的平台Arena 2.0专注于新的攻击向量,如间接提示注入(IPI),在这种攻击中,恶意指令隐藏在AI代理可能遇到的内容中。Gray Swan正在举办其迄今为止规模最大的竞赛IPI Black,奖金池高达30万美元,由主要的AI公司赞助,以激励参与者寻找AI代理中的漏洞。
-
自主代理因系统设计缺陷面临重复购买风险 · 已追踪 2 个来源
在自主代理的商业系统中发现了一个关键漏洞,代理可能会无意中进行重复购买。此问题源于多种因素的组合:代理固有的网络故障重试逻辑、默认情况下购买交易的非幂等性以及异步支付结算流程。这些要素造成了一种竞态条件,代理可能在首次交易确认之前就重试购买,导致供应商处理两笔订单,而代理的账本只记录一笔。现有的部分解决方案,如幂等性密钥、随机数(nonce)授权、支出限额和工具调用去重,都存在局限性,并未完全解决这一结构性缺陷。
-
Gray Swan 通过先进的红队测试工具应对 AI 安全风险
Gray Swan 公司由 Zico Kolter 和 Matt Fredrikson 联合创立,正在开发用于 AI 安全的工具和方法论,重点关注“灰天鹅”事件——即不太可能但可预见的 AI 事件。他们的工作解决了提示注入等漏洞,尤其是在 AI 代理方面,并开发了 Shade 等用于对抗性红队测试的工具以及 Cygnal 用于策略执行。Kolter 是 OpenAI 的董事会成员,Fredrikson 是 CMU 的教授,他们强调 A…
-
AI安全公司Gray Swan融资4000万美元,估值2亿美元
AI初创公司Gray Swan已完成4000万美元的A轮融资,公司估值达到2亿美元。该公司雇佣了约15000名安全专业人士,他们扮演黑客的角色,对OpenAI和Anthropic等主要实验室的AI模型进行压力测试。这些数据用于训练Gray Swan的AI代理Shade和Cygnal,它们能够识别和缓解AI系统中的漏洞,防止生成有害内容或未经授权的工具访问。该公司的创始人,教授Matt Fredrikson和Zico Kolter,在A…