MITRE ATLAS
PulseAugur coverage of MITRE ATLAS — every cluster mentioning MITRE ATLAS across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
LLM 红队测试：AI 安全测试的新领域
LLM 红队测试是一种专门的安全测试实践，旨在识别 AI 驱动系统中的漏洞，这与传统的 Web 应用程序安全测试有显著不同。该方法侧重于对抗性输入，以发现诸如提示注入、越狱和数据泄露等问题，并认识到 LLM 的概率性本质。测试的关键领域包括对齐层、指令遵循、推理边界和上下文表示，并使用攻击成功率 (ASR) 等指标来量化可利用性。OWASP GenAI LLM Top 10 和 MITRE ATLAS 等框架提供了用于组织这些攻击向量的分类法。
-
用于LLM提示注入测试的开源工具对比
存在一些开源工具可用于测试LLM应用程序是否存在提示注入漏洞，但它们不能互换使用，并且满足不同的测试需求。Promptfoo、Giskard和sentinel-scan-cli专注于应用层测试，评估应用程序的提示和逻辑，其中Promptfoo被广泛采用，并被OpenAI和Anthropic等公司使用。Garak由NVIDIA维护，是一个模型层工具，独立于应用程序测试底层模型的攻击易感性。Microsoft的PyRIT已归档，曾提供多轮…
-
Trust Gateway 管道通过 12 级验证完善安全性
Trust Gateway，此前被错误地标记为防火墙，现在是一个 12 级验证管道，旨在在任何阶段拒绝请求。它包含了提示注入检测规则和参数检查，尽管这些并未被呈现为完整的防御措施，而是一个隔离层。该系统已经过大量使用变异凭证的模糊测试，确保了拒绝而不会崩溃，并且基于属性的测试验证了规范化不变性。未来的更新将包括用于增强安全性的工具输出的执行后过滤和伪影摘要固定。
-
Open Knowledge Foundation 发布 GATE v1.4，支持输出验证和 Rust 伴侣
Open Knowledge Foundation 发布了 GATE v1.4 版本，在交付边界引入了 C20 输出验证。此次更新将“紧急情况打破”程序正式化为一项签署合同，并增加了到 OWASP AISVS、MITRE ATLAS 和 NIST SSDF 的新映射。该版本还包括三个新存储库：gate-rust、gate-fuzz 和 gate-knowledge，其中 gate-rust 作为核心 GATE 框架的伴侣。
-
Orion AI 安全框架借鉴《孙子兵法》进行漏洞缓解
Orion 是一个专为红队和蓝队设计的新型 AI 安全框架，其灵感来源于孙子的《孙子兵法》。该框架旨在通过对抗性机器学习技术来识别和解决 AI 模型中的漏洞。Orion 还将已识别的风险映射到 MITRE ATLAS 框架，为 AI 安全提供了一种结构化方法。
-
AI推荐投毒：“AI总结”按钮可破坏大语言模型记忆
微软发现了一种名为AI推荐投毒的新威胁，看似无害的“AI总结”按钮会永久性地改变大语言模型助手的记忆。通过点击一个特制的链接，用户会无意中指示其AI助手在未来的交互中优先考虑某些网站或信息作为权威。微软Defender研究人员记录的这种技术，已在30多家各行各业的公司中被观察到，其中一些公司甚至开发了生成这些恶意链接的工具，对企业环境中AI驱动的决策完整性构成了重大风险。
-
MITRE ATLAS 将代理攻击技术添加到人工智能威胁目录
MITRE 更新了其人工智能系统对抗性威胁态势（ATLAS）知识库，以包含针对自主人工智能代理的特定技术。这些新技术，例如人工智能供应链攻击（AML.T0010）和人工智能代理工具投毒（AML.T0110），记录了针对人工智能系统使用的真实攻击方法。此次更新旨在为防御者和研究人员提供一个通用词汇表，以讨论和应对针对人工智能代理及其供应链的威胁。
-
新的 AVE 标准解决了 AI Agent 行为漏洞分类问题
一种名为 AVE（Agentic Vulnerability Enumeration）的新开放标准已被开发出来，用于对 AI Agent 的行为漏洞进行分类，填补了现有系统（如 CVE 和 CWE）留下的空白。这些传统系统对于 Agentic AI 来说是不够的，因为它们是为代码特定漏洞设计的，而不是 AI 组件（如 MCP 服务器或 LLM 插件）中发现的行为模式。AVE 为这些独特的漏洞提供了稳定的、厂商中立的 ID 和详细描述，…
-
Snowflake 推出 AI 护栏使用情况视图以进行安全监控
Snowflake 发布了一个新视图 CORTEX_AI_GUARDRAILS_USAGE_HISTORY，该视图记录了 Cortex Code、Cortex Agents 和 Snowflake Intelligence 的护栏扫描。此视图允许安全团队监控提示注入攻击和其他可疑活动。一位用户利用此数据构建了一个包含 10 个选项卡的 Streamlit 仪表板，以提供高管风险评分、UEBA、MITRE ATLAS 映射和合规性自动化…
-
开发者提出BRACE框架以保护自主AI代理
一位开发者提出了一个名为BRACE的框架，以解决自主AI代理的安全漏洞，此前发生了一些代理造成重大损害的事件。该框架将潜在的故障分为五个领域：构建时、运行时、代理特定配置、配置漂移以及更广泛的生态系统。BRACE强调，安全应侧重于限制代理配置，而不是仅仅关注AI模型的能力。一项关键建议是在协调器层面默认拒绝破坏性操作，防止代理执行不可逆的命令。
-
Anthropic 的 Mythos 模型带来安全风险，需要新的运营手册
Anthropic 的 Mythos 模型最初在严格限制下进行预览，展示了在发现软件漏洞和绕过安全护栏方面的强大能力。虽然 Anthropic 的 Sonnet-4 模型在针对类似攻击时表现出强大的安全干预能力，但 Mythos 类模型可能被用于进攻性安全目的引发了担忧。这需要将此类模型视为安全关键组件，对机器学习工程师提出谨慎的系统级设计、治理和运营监督要求。
-
新索引将GenAI安全事件映射到OWASP和MITRE框架
一个新的索引目录了公开披露的与生成式AI和代理式AI系统相关的安全事件。每个事件都与已建立的安全框架（如OWASP LLM Top 10、OWASP Agentic Top 10、NIST AI RMF和MITRE ATLAS）进行交叉引用。该资源旨在提供AI特定安全漏洞和威胁的结构化概述。
-
MIRAGE系统使用AI蜜罐来诱捕提示注入攻击
MIRAGE系统不阻止提示注入攻击，而是采用蜜罐方法来欺骗攻击者。当检测到可疑提示时，MIRAGE会向攻击者提供虚假数据并记录其行为，让他们相信自己正在成功。这种方法旨在浪费攻击者的资源并收集有关其技术的情报，而不是提醒他们已被检测到。
-
MLOps 安全基准将 OWASP 和 MITRE ATLAS 映射到 ML 流水线
本文详细介绍了通过将 OWASP LLM Top 10 和 MITRE ATLAS 框架映射到实际的机器学习流水线来创建 MLOps 安全基准的过程。作者概述了将这些安全模型集成到真实 ML 工作流中以识别和缓解潜在漏洞的流程。目标是为保护 ML 系统免受新兴威胁提供结构化方法。