PulseAugur
中
实时 13:09:32
实体 Matt Fredrikson

Matt Fredrikson

PulseAugur coverage of Matt Fredrikson — every cluster mentioning Matt Fredrikson across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_310836 ·

    Gray Swan重启AI红队演练平台以应对AI代理

    AI安全公司Gray Swan已重启其红队演练平台Arena,以应对AI代理带来的不断演变的安全挑战。更新后的平台Arena 2.0专注于新的攻击向量,如间接提示注入(IPI),在这种攻击中,恶意指令隐藏在AI代理可能遇到的内容中。Gray Swan正在举办其迄今为止规模最大的竞赛IPI Black,奖金池高达30万美元,由主要的AI公司赞助,以激励参与者寻找AI代理中的漏洞。

  2. RESEARCH · CL_318934 ·

    自主代理因系统设计缺陷面临重复购买风险 · 已追踪 2 个来源

    在自主代理的商业系统中发现了一个关键漏洞,代理可能会无意中进行重复购买。此问题源于多种因素的组合:代理固有的网络故障重试逻辑、默认情况下购买交易的非幂等性以及异步支付结算流程。这些要素造成了一种竞态条件,代理可能在首次交易确认之前就重试购买,导致供应商处理两笔订单,而代理的账本只记录一笔。现有的部分解决方案,如幂等性密钥、随机数(nonce)授权、支出限额和工具调用去重,都存在局限性,并未完全解决这一结构性缺陷。

  3. TOOL · CL_104294 ·

    Gray Swan 通过先进的红队测试工具应对 AI 安全风险

    Gray Swan 公司由 Zico Kolter 和 Matt Fredrikson 联合创立,正在开发用于 AI 安全的工具和方法论,重点关注“灰天鹅”事件——即不太可能但可预见的 AI 事件。他们的工作解决了提示注入等漏洞,尤其是在 AI 代理方面,并开发了 Shade 等用于对抗性红队测试的工具以及 Cygnal 用于策略执行。Kolter 是 OpenAI 的董事会成员,Fredrikson 是 CMU 的教授,他们强调 A…

  4. RESEARCH · CL_57544 ·

    AI安全公司Gray Swan融资4000万美元,估值2亿美元

    AI初创公司Gray Swan已完成4000万美元的A轮融资,公司估值达到2亿美元。该公司雇佣了约15000名安全专业人士,他们扮演黑客的角色,对OpenAI和Anthropic等主要实验室的AI模型进行压力测试。这些数据用于训练Gray Swan的AI代理Shade和Cygnal,它们能够识别和缓解AI系统中的漏洞,防止生成有害内容或未经授权的工具访问。该公司的创始人,教授Matt Fredrikson和Zico Kolter,在A…