MITRE ATLAS
PulseAugur coverage of MITRE ATLAS — every cluster mentioning MITRE ATLAS across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的 AI 代理安全测试针对边界漏洞
一种名为边界参与（boundary engagement）的新安全测试方法侧重于识别 AI 代理与其他系统交互时存在的漏洞。这种方法测试诸如工具投毒（tool poisoning）之类的问题，即工具描述中的隐藏指令可能被 AI 执行，以及过度代理（excessive agency），即代理可以在没有适当验证或人类批准的情况下执行操作。这些发现被映射到 MITRE ATLAS 和 NIST AI RMF 等既有框架，为工程师在 CI 流…
-
新书为可防御的AI系统提供实用指导
Hernan Huwyler出版了一本新书，题为《构建可防御的AI系统：安全与合规》，面向首席AI官和其他专业人士。该书提供了关于实施AI风险管理框架、监管合规和审计就绪证据的实用指导，侧重于可量化的风险和可操作的控制，而非抽象概念。它涵盖了诸如基于美元的风险量化、遵守ISO/IEC 42001和NIST AI RMF等标准、欧盟AI法案文档以及AI代理和供应商控制的实际实施等主题。
-
新的LLM-RedKit工具针对具身提示注入漏洞
一款名为LLM-RedKit的新型开源工具已被开发出来，以应对针对AI代理的提示注入攻击不断演变的威胁。与之前专注于静态提示的工具不同，LLM-RedKit专门测试具身提示，这些提示可以通过将恶意命令伪装成常规任务来欺骗模型执行意外操作，例如发送电子邮件或删除用户。该工具支持各种代理框架，并提供详细报告，将发现与OWASP LLM Top 10和MITRE ATLAS等既定安全框架进行映射。
-
新手册详细介绍了自主AI代理的防御性门控
攻击者越来越多地利用自主代理以机器速度探测和利用系统，这种威胁模型转变始于2026年。传统的防御措施无法应对这种速度，因此需要为代理操作实施强大的门控机制。提出的解决方案包括为每次工具调用实施置信度和风险门控，强制执行每个任务的最小权限，以及设置速率和爆炸半径上限，以限制门控失败时的潜在损害。该框架旨在自动化安全操作，同时将人工干预保留给高影响或不可逆的操作，确保可审计的决策。
-
新AI安全框架ATLAS提供确定性、可审计的风险评估
研究人员开发了一个名为ATLAS的新AI安全风险评估框架，旨在实现确定性和可审计性。该框架将来自各种软件工件的证据标准化为一个与项目无关的控制ID分类法。然后，它使用固定的MITRE ATLAS快照和从缓解措施到控制的显式映射来编译技术级别的谓词，最终输出技术索引的可行性和影响级别，并带有可追溯的证据链接。该系统已在五个开源AI项目上进行了评估，证明当可观察控制得到加强时，可行性配置文件会持续降低，并突出了在核心控制缺失时持续存在的最…
-
Maxim AI 发布 Bifrost，一款用于 LLM 越狱检测的开源 AI 网关
Maxim AI 开发了一款名为 Bifrost 的开源 AI 网关，以应对日益增长的 LLM 越狱威胁。该网关通过检查用户输入和模型输出来集中管理安全性，旨在防止绕过原生对齐保护措施的对抗性攻击。Bifrost 利用确定性模式过滤器和第三方护栏引擎来维护安全性，同时不会引入显著的延迟。
-
新方法融合AI检测技术用于医疗影像模型
研究人员开发了一种新方法，通过融合光谱特征分析和激活聚类技术来检测医疗影像AI模型中的后门。这种组合方法旨在提高检测准确性，优于单独使用任一方法。该研究在医疗影像基准和CIFAR-10上评估了融合流程，在医疗数据集上展示了高检测性能，但在后门完全安装的情况下，在CIFAR-10上遇到了融合分数上的局限性。
-
OWASP GenAI 安全项目发布“项目交叉参考”，将 AI 风险映射到法规
OWASP GenAI 安全项目发布了“项目交叉参考”，这是一个开源工具，旨在将人工智能风险与各种全球监管框架的合规要求相匹配。该资源将 AI 风险映射到 NIST、ISO、MITRE ATLAS 和欧盟人工智能法案等文件中的要求。该项目旨在为在复杂的人工智能安全和监管合规领域中导航的组织提供统一的视图。
-
新的神经符号框架增强了AI-SOC对抗提示注入的安全性
已开发出一种新的神经符号框架，以增强人工智能驱动的安全运营中心（SOC）的安全性。该框架通过采用两层防御系统来解决提示注入等漏洞。第一层使用SIEM解码器对日志数据进行确定性过滤，第二层利用NeMo Guardrails在数据到达LLM之前强制执行语义边界。这种方法旨在提供更具弹性和可观察性的防御，以应对复杂的网络威胁。
-
AI治理差距在快速投资中构成董事会级别威胁
组织正在大力投资AI，预计全球投资将达到2.5万亿美元，但许多组织在部署这些技术时缺乏充分的治理、安全或问责制。这种快速采用与强有力监督之间的差距正成为董事会层面的重大担忧。世界各地的监管机构正在采取超过1000项政策举措作为回应，而在美国，各州正在制定自己的AI立法，特别关注就业工具和面向消费者的AI。
-
LLM 红队测试：AI 安全测试的新领域
LLM 红队测试是一种专门的安全测试实践，旨在识别 AI 驱动系统中的漏洞，这与传统的 Web 应用程序安全测试有显著不同。该方法侧重于对抗性输入，以发现诸如提示注入、越狱和数据泄露等问题，并认识到 LLM 的概率性本质。测试的关键领域包括对齐层、指令遵循、推理边界和上下文表示，并使用攻击成功率 (ASR) 等指标来量化可利用性。OWASP GenAI LLM Top 10 和 MITRE ATLAS 等框架提供了用于组织这些攻击向量的分类法。
-
用于LLM提示注入测试的开源工具对比
存在一些开源工具可用于测试LLM应用程序是否存在提示注入漏洞，但它们不能互换使用，并且满足不同的测试需求。Promptfoo、Giskard和sentinel-scan-cli专注于应用层测试，评估应用程序的提示和逻辑，其中Promptfoo被广泛采用，并被OpenAI和Anthropic等公司使用。Garak由NVIDIA维护，是一个模型层工具，独立于应用程序测试底层模型的攻击易感性。Microsoft的PyRIT已归档，曾提供多轮…
-
Trust Gateway 管道通过 12 级验证完善安全性
Trust Gateway，此前被错误地标记为防火墙，现在是一个 12 级验证管道，旨在在任何阶段拒绝请求。它包含了提示注入检测规则和参数检查，尽管这些并未被呈现为完整的防御措施，而是一个隔离层。该系统已经过大量使用变异凭证的模糊测试，确保了拒绝而不会崩溃，并且基于属性的测试验证了规范化不变性。未来的更新将包括用于增强安全性的工具输出的执行后过滤和伪影摘要固定。
-
Open Knowledge Foundation 发布 GATE v1.4，支持输出验证和 Rust 伴侣
Open Knowledge Foundation 发布了 GATE v1.4 版本，在交付边界引入了 C20 输出验证。此次更新将“紧急情况打破”程序正式化为一项签署合同，并增加了到 OWASP AISVS、MITRE ATLAS 和 NIST SSDF 的新映射。该版本还包括三个新存储库：gate-rust、gate-fuzz 和 gate-knowledge，其中 gate-rust 作为核心 GATE 框架的伴侣。
-
Orion AI 安全框架借鉴《孙子兵法》进行漏洞缓解
Orion 是一个专为红队和蓝队设计的新型 AI 安全框架，其灵感来源于孙子的《孙子兵法》。该框架旨在通过对抗性机器学习技术来识别和解决 AI 模型中的漏洞。Orion 还将已识别的风险映射到 MITRE ATLAS 框架，为 AI 安全提供了一种结构化方法。
-
AI推荐投毒：“AI总结”按钮可破坏大语言模型记忆
微软发现了一种名为AI推荐投毒的新威胁，看似无害的“AI总结”按钮会永久性地改变大语言模型助手的记忆。通过点击一个特制的链接，用户会无意中指示其AI助手在未来的交互中优先考虑某些网站或信息作为权威。微软Defender研究人员记录的这种技术，已在30多家各行各业的公司中被观察到，其中一些公司甚至开发了生成这些恶意链接的工具，对企业环境中AI驱动的决策完整性构成了重大风险。
-
MITRE ATLAS 将代理攻击技术添加到人工智能威胁目录
MITRE 更新了其人工智能系统对抗性威胁态势（ATLAS）知识库，以包含针对自主人工智能代理的特定技术。这些新技术，例如人工智能供应链攻击（AML.T0010）和人工智能代理工具投毒（AML.T0110），记录了针对人工智能系统使用的真实攻击方法。此次更新旨在为防御者和研究人员提供一个通用词汇表，以讨论和应对针对人工智能代理及其供应链的威胁。
-
新的 AVE 标准解决了 AI Agent 行为漏洞分类问题
一种名为 AVE（Agentic Vulnerability Enumeration）的新开放标准已被开发出来，用于对 AI Agent 的行为漏洞进行分类，填补了现有系统（如 CVE 和 CWE）留下的空白。这些传统系统对于 Agentic AI 来说是不够的，因为它们是为代码特定漏洞设计的，而不是 AI 组件（如 MCP 服务器或 LLM 插件）中发现的行为模式。AVE 为这些独特的漏洞提供了稳定的、厂商中立的 ID 和详细描述，…
-
Snowflake 推出 AI 护栏使用情况视图以进行安全监控
Snowflake 发布了一个新视图 CORTEX_AI_GUARDRAILS_USAGE_HISTORY，该视图记录了 Cortex Code、Cortex Agents 和 Snowflake Intelligence 的护栏扫描。此视图允许安全团队监控提示注入攻击和其他可疑活动。一位用户利用此数据构建了一个包含 10 个选项卡的 Streamlit 仪表板，以提供高管风险评分、UEBA、MITRE ATLAS 映射和合规性自动化…
-
开发者提出BRACE框架以保护自主AI代理
一位开发者提出了一个名为BRACE的框架，以解决自主AI代理的安全漏洞，此前发生了一些代理造成重大损害的事件。该框架将潜在的故障分为五个领域：构建时、运行时、代理特定配置、配置漂移以及更广泛的生态系统。BRACE强调，安全应侧重于限制代理配置，而不是仅仅关注AI模型的能力。一项关键建议是在协调器层面默认拒绝破坏性操作，防止代理执行不可逆的命令。