Gray Swan
PulseAugur coverage of Gray Swan — every cluster mentioning Gray Swan across labs, papers, and developer communities, ranked by signal.
- 2026-05-28 funding AI security startup Gray Swan raised $40 million in Series A funding, reaching a $200 million valuation. 来源
3 天有情绪数据
-
AI红队工具:Promptfoo领跑开源,NVIDIA、Microsoft、Tencent提供解决方案
对16款AI红队工具的对比评测显示,Promptfoo是集成CI的顶级开源选项,而NVIDIA的garak则推荐用于广泛的漏洞扫描。Microsoft的PyRIT在脚本化多轮攻击方面表现突出,Tencent的A.I.G.则为AI基础设施提供全面的扫描。在托管平台方面,Mindgard和Zscaler的SPLX等商业选项可用,Enkrypt AI提供分级定价。
-
Google DeepMind 发布 Gemini 4 Carbon 用于编码,Genie 4 用于世界模拟
Google DeepMind 发布了两款前沿 AI 模型:Gemini 4 Carbon 和 Genie 4。Gemini 4 Carbon 专为复杂、长周期的任务设计,在多日编码、网络安全防御和错误修复方面表现出色,并在多项基准测试中取得最高分。Genie 4 是一个通用世界模型,能够进行具有逼真视觉效果和原生音频生成的实时交互式模拟,并利用 Gemini 模型作为其核心功能。这两款模型正在向受信任的测试者和合作伙伴推出,并计划为…
-
Google 发布 Gemini 4 Carbon,在 AI 基准测试中名列前茅
Google 发布了 Gemini 4 Carbon,这是其 Gemini 4 系列最新、最先进的模型,将其定位为长篇工程任务和网络安全领域的领导者。该模型在人工智能分析智能指数 v5.0 中取得了最高分,并在识别和修补软件漏洞方面表现出色。虽然 Gemini 4 Carbon 在各种基准测试中都超越了其前代产品 Gemini 4 Argon,但目前正在选择性推出,优先考虑网络安全专业人士,然后再向更广泛的开发者开放。
-
2026年浏览器代理顶级LLM按分数和成本排名
2026年10月对浏览器代理LLM的比较分析显示,Claude Opus 5.5在成功率方面表现最佳,Claude Sonnet 5.5以一半的价格提供相似的分数。对于注重成本的用户,Claude Haiku 5.5和Gemini 3.8 Flash提供了经济高效的解决方案,而H Company的Holo4被认为是最佳的开源选项。文章强调,OSWorld版本上的供应商特定评分意味着这些数据应被视为单独的声明,而不是统一的排名。
-
Gray Swan重启AI红队演练平台以应对AI代理
AI安全公司Gray Swan已重启其红队演练平台Arena,以应对AI代理带来的不断演变的安全挑战。更新后的平台Arena 2.0专注于新的攻击向量,如间接提示注入(IPI),在这种攻击中,恶意指令隐藏在AI代理可能遇到的内容中。Gray Swan正在举办其迄今为止规模最大的竞赛IPI Black,奖金池高达30万美元,由主要的AI公司赞助,以激励参与者寻找AI代理中的漏洞。
-
Google推出Gemini 4 Argon,优先考虑网络安全合作伙伴
Google发布了其最新的先进AI模型Gemini 4 Argon,专注于网络安全和复杂编码任务。该模型最初通过Google的Fairwind计划向选定的网络安全合作伙伴提供,并计划向付费订阅用户提供更广泛的访问权限。Google声称,在各种基准测试中,Gemini 4 Argon的表现优于OpenAI的GPT-6 Astra和Anthropic的Fable和Opus等竞争对手,尤其是在长周期工作流和100万token的输出限制方面。
-
Anthropic 的 Opus 5 在提示注入抵抗力方面取得重大进展 · 跟踪到 1 个来源
Anthropic 的 Opus 5 模型在抵抗提示注入攻击方面表现出显著的改进,在结合额外的系统级防御措施时,成功率接近于零。虽然模型本身更加健壮,但专家强调,对 AI 系统的真正信任依赖于分层方法,包括预执行伪影扫描和受限执行模式,而不仅仅依赖于模型的固有属性。这种纵深防御策略至关重要,因为不同的模型具有不同级别的注入抵抗力,并且恶意指令可以直接嵌入系统提示中,绕过模型特定的防御措施。
-
提示注入攻击通过利用AI模型功能而非覆盖它们来成功
最近对AI红队测试竞技场的探索表明,直接忽略先前指令的命令对经过加固的模型无效。相反,成功的提示注入攻击通过将恶意输出重新构建为一项合法任务来利用模型的预期功能。例如,一个摘要机器人被要求仅提取给定笔记的最后一句,从而被诱骗输出特定短语,有效地利用其核心功能来实现攻击者的目标。
-
自主代理因系统设计缺陷面临重复购买风险 · 已追踪 2 个来源
在自主代理的商业系统中发现了一个关键漏洞,代理可能会无意中进行重复购买。此问题源于多种因素的组合:代理固有的网络故障重试逻辑、默认情况下购买交易的非幂等性以及异步支付结算流程。这些要素造成了一种竞态条件,代理可能在首次交易确认之前就重试购买,导致供应商处理两笔订单,而代理的账本只记录一笔。现有的部分解决方案,如幂等性密钥、随机数(nonce)授权、支出限额和工具调用去重,都存在局限性,并未完全解决这一结构性缺陷。
-
Gray Swan 通过先进的红队测试工具应对 AI 安全风险
Gray Swan 公司由 Zico Kolter 和 Matt Fredrikson 联合创立,正在开发用于 AI 安全的工具和方法论,重点关注“灰天鹅”事件——即不太可能但可预见的 AI 事件。他们的工作解决了提示注入等漏洞,尤其是在 AI 代理方面,并开发了 Shade 等用于对抗性红队测试的工具以及 Cygnal 用于策略执行。Kolter 是 OpenAI 的董事会成员,Fredrikson 是 CMU 的教授,他们强调 A…
-
AI安全公司Gray Swan融资4000万美元,估值2亿美元
AI初创公司Gray Swan已完成4000万美元的A轮融资,公司估值达到2亿美元。该公司雇佣了约15000名安全专业人士,他们扮演黑客的角色,对OpenAI和Anthropic等主要实验室的AI模型进行压力测试。这些数据用于训练Gray Swan的AI代理Shade和Cygnal,它们能够识别和缓解AI系统中的漏洞,防止生成有害内容或未经授权的工具访问。该公司的创始人,教授Matt Fredrikson和Zico Kolter,在A…
-
OpenAI 任命 AI 安全专家 Zico Kolter 加入其董事会
OpenAI 已任命卡内基梅隆大学教授兼机器学习系主任 Zico Kolter 加入其董事会。Kolter 在 AI 安全、对齐和模型鲁棒性方面的专业知识有望加强 OpenAI 的治理。他还将担任董事会安全与安保委员会成员,为所有 OpenAI 项目的关键安全决策做出贡献。