Ai Security
PulseAugur coverage of Ai Security — every cluster mentioning Ai Security across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
BSidesLuxembourg2026 录音涵盖AI安全和恶意软件威胁
BSidesLuxembourg2026 的录音现已发布，其中包括关于AI安全及其与密码学交叉的讨论。其中一场演讲“威胁建模能解决AI安全什么问题？”（作者：Nathan Pembe）探讨了AI安全挑战。另一场演讲“AI与密码学用于规避恶意软件”（作者：Cocomelonc）深入探讨了AI和密码学在对抗复杂恶意软件中的应用。
-
AI实验室可能混淆了安全与安保，导致漏洞
作者认为，领先的AI实验室可能将AI安全（safety）与AI安保（security）混为一谈，从而导致关键漏洞。AI安全侧重于对齐和防止有害输出，依赖于分类器和权重调整等不完美的方法。相比之下，AI安保要求像传统计算机科学标准那样彻底修复漏洞。作者以Anthropic的Boris Cherny关于提示注入“已基本解决”的说法为例，指出基准测试中攻击仍然在相当大的比例上成功，并认为这种方法可能导致了近期的沙盒逃逸事件。
-
LLM 代理需要外部策略执行来防止提示注入
一种新的 LLM 代理安全架构正在出现，该架构在模型与其工具之间放置一个确定性代理来强制执行策略。这种方法是必要的，因为 LLM 本身不可信赖，无法遵守安全限制，尤其是在处理网页或工具响应中发现的对抗性输入时。核心原则是将 LLM 视为不受信任的用户，类似于过去处理 SQL 注入漏洞的方式，通过在模型直接影响之外实施访问控制。
-
Broadcom通过AI安全和Kubernetes更新推动VMware升级
Broadcom正在激励VMware客户在VCF 8发布前升级其基础设施。最新的AI安全和Kubernetes更新被强调为推动此次转型的关键因素。VCF 8支持的最后期限迫在眉睫，这给VMware用户带来了采用新解决方案的紧迫感。
-
Databricks 加入开放安全人工智能联盟，以保障人工智能安全
Databricks 已成为开放安全人工智能联盟（Open Secure AI Alliance）的创始成员，该联盟旨在促进人工智能安全与保障方面的开放研究和工具。该联盟汇集了 NVIDIA 等行业领导者，强调共享安全情报和开发人工智能系统的开放框架的重要性。Databricks 将贡献其在受管数据、模型和代理能力方面的专业知识，以及其新的开源元框架 Omnigent 等开放安全工具，以加强整个 AI 代理堆栈。
-
据报道，AI系统攻击实验室后，其自身方法被反制
一个研究实验室报告称遭到一个AI系统的攻击，该系统据称是使用一个中国的LLM构建的。该实验室并未仅仅阻止这次攻击，而是据称将其自身的AI方法反制于该AI。这一事件之所以引人注目，是因为它可能代表着AI攻击从理论走向现实世界对抗的转变，在这种对抗中，AI本身会实时调整其策略。
-
Okta斥资约2亿美元收购AI安全初创公司Permiso
Okta已同意以约2亿美元的全现金交易收购AI身份安全初创公司Permiso Security。此次收购旨在加强Okta在保护AI代理和其他机器身份方面的能力，因为企业越来越多地部署自主软件。Permiso的技术专注于检测云环境中AI代理的可疑活动和恶意行为，从而增强Okta的身份安全产品。
-
人工智能安全焦点：形式化方法论文、Anthropic 和 OpenAI 招聘
一篇题为“通过形式化方法实现人工智能安全中的可处理问题”（Tractable Problems in AI Security via Formal Methods）的新立场文件已发布，重点关注人工智能安全方面最小化且无争议的方法，特别是通过加强基础设施来保护模型权重的机密性和完整性。作者还强调了 Anthropic 安全实验室的招聘工作，以及 OpenAI 的“Preparedness”团队可能对形式化方法的兴趣。此外，该帖子还引用了…
-
人工智能安全成为组织战略重点
文章讨论了为什么人工智能安全，特别是关于大型语言模型（LLMs），已成为组织的关键战略重点。文章强调了保护人工智能系统免受各种威胁和漏洞侵害日益增长的重要性。
-
BIML 2026年研究重点关注人工智能安全性的衡量
BIML 发布了关于衡量人工智能安全性的研究，重点关注 2026 年。该研究通过 PDF 链接提供，探讨了“人工智能安全计”的概念。
-
新AI安全博客上线，整合技术内容
一个新博客aisecurities.uk已上线，旨在成为AI安全专业人士的集中资源。该网站致力于提供关于一系列AI安全主题的实用、技术性和厂商中立的内容，包括威胁态势分析、LLM安全、模型投毒和红队演练框架。该博客的创建是为了解决当前AI安全信息分散的现状，并跟上快速发展的领域。
-
Google Cloud 首席运营官：从一开始就整合 AI 安全
Google Cloud 首席运营官 Francis deSouza 强调了以平台为中心的 AI 安全方法的重用性。他主张在 AI 开发的初始阶段就整合安全措施，以对抗影子 AI 等威胁。DeSouza 还指出了在不同云环境中实施统一安全措施的必要性，以及 AI 原生防御机制的兴起。
-
谷歌和人工智能领导者实时调整安全措施
包括谷歌在内的人工智能主要参与者，随着该领域的快速发展，正在实时积极地开发和调整其安全措施。这种动态方法表明，即使是领先的技术公司在人工智能安全方面也处于持续学习过程中。这种情况凸显了保护人工智能系统所面临的持续挑战和快速的创新步伐。
-
人工智能安全聚焦形式化方法，举办黑客松并涌现新创企业
人工智能安全社区正围绕形式化方法进行组织，举办了专注于安全程序合成的黑客松和研究员项目。Midspiral、Sequent 和 Sigil Logic 等新公司正在这一领域崭露头角，将形式化方法应用于 Web 开发和人工智能安全等领域。此外，一项关于网络加固人工智能系统的新资金呼吁以及一项针对人工智能安全硬件的驻留计划，都凸显了对这些关键领域日益增长的关注。
-
Bruce Schneier 讨论AI安全挑战与需求
Bruce Schneier 的最新博文讨论了不断变化的AI安全格局，强调了随着先进人工智能系统的出现所带来的独特挑战和潜在漏洞。文章强调需要制定针对AI特性的强大安全措施，超越传统网络安全范式。Schneier 认为，随着AI越来越多地融入关键基础设施，解决其安全影响对于防止滥用和确保可靠运行至关重要。
-
MATS 开放人工智能安全研究员项目，新增方向和资金支持
MATS Research 现已开放其 2026 年秋季研究员项目的申请。该项目为期 10 周，专注于人工智能对齐、安全和治理。研究员项目将于 2026 年 9 月 28 日至 12 月 5 日举行，提供每月 5,000 美元的津贴、每月 8,000 美元的计算预算，并报销住房、餐饮和差旅费用。本期项目新增了创业与领域建设以及生物安全方向，扩大了培训人工智能安全研究人员和创业者的能力。