Invariant Labs
PulseAugur coverage of Invariant Labs — every cluster mentioning Invariant Labs across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
提示注入被重新定义为数据流问题,需要策略层
提示注入攻击正被重新定义为数据流或数据平面问题,而不仅仅是模型问题。研究人员已经证明,不受信任的数据(例如 GitHub issue 中的指令)可以被用来诱骗 AI 代理执行非预期操作,例如窃取私有存储库内容。提出的解决方案是在 AI 模型与其工具之间实现一个策略层,该策略层根据工具调用的范围、信任边界以及是否需要人工授权来审查工具调用,这与参数化查询在传统数据库交互中解决类似问题的方式有相似之处。
-
OpenAI推出常驻智能体,催生新的AI安全产品类别
OpenAI推出了“dots”,一种常驻智能体,可以独立运行并在用户离线时处理信息。这一发展催生了新的安全产品,例如AI网关的运行时保护,以对抗嵌入在工具描述中的恶意指令,这种漏洞被称为工具投毒。这些攻击类似于SQL注入,利用了大型语言模型处理语言的方式,据报道,目前90%以上的自适应攻击都能绕过现有防御。新的安全措施侧重于筛选传入数据,标记不可见字符或命令式命令等可疑内容,并将不可信文本视为结构化数据而非散文来防止被利用。
-
Aggrete 提供确定性的 AI 工具安全防护,通过规则阻止攻击
Aggrete 是一个开源的模型控制进程(MCP)代理,它通过使用预定义的规则而不是概率性的模型判断来提供确定性的安全方法。这种方法旨在通过在联系上游模型之前分析数据流和工具完整性,来可证明地阻止提示注入、工具投毒和拉地毯式骗局等攻击。该系统允许用户在本地运行演示,并提供一个 YAML 配置文件来定义自定义策略规则。
-
MCP 服务器漏洞允许在批准后进行“拉地毯式”攻击
MCP(模型中心协议)服务器中已发现一种称为“拉地毯式”(rug pull)的安全漏洞,允许恶意行为者在初始批准后仍可破坏系统。此漏洞利用涉及服务器在客户端批准初始配置后更改工具描述或引入新工具。该漏洞源于协议的设计,其中工具定义在未经重新批准的情况下被重新获取和更改,并且描述与系统提示一起加载到模型的上下文中,使其无法区分。安全研究人员建议固定已批准的定义并授权工具调用而非描述来缓解此风险。
-
比较开源工具用于代理安全扫描
对三个开源工具进行比较,用于扫描代理配置中的安全风险,如提示注入和供应链攻击,揭示了各自的优势和劣势。Cisco 的 mcp-scanner 功能最全,包括 YARA 匹配、LLM 分析和依赖项审计,但需要复杂的 API 密钥配置。Snyk Agent Scan 在跨各种代理和 IDE 进行广泛的自动发现方面表现出色,但需要 Snyk 账户并将数据发送到 Snyk 的托管 API。sentinel-scan-cli 工具专为简单性和离…
-
新型扫描器无需网络即可检测10种MCP清单安全风险
一款名为sentinel-scan-cli的新型静态扫描器已被开发出来,用于识别Machine Configuration Protocol (MCP)清单中潜在的安全漏洞。该扫描器采用十种启发式方法来检测提示注入、工具影射、过度代理、未固定远程源和硬编码凭证等问题。它在不访问网络或服务器进程的情况下运行,专注于清单本身的模式匹配和模式验证。
-
新工具 `mcpward` 可保护 AI 代理依赖项免受 MCP 服务器合同更改的影响
一个名为 `mcpward` 的新工具已被开发出来,以解决 MCP(模型通信协议)服务器合同更改带来的风险,这些更改可能会悄无声息地破坏代理行为。与使用锁定文件的依赖项管理器不同,MCP 服务器缺乏版本控制和完整性检查,这使得代理容易受到细微合同修改的影响。`mcpward` 提供了两个命令:`baseline` 用于快照服务器的合同,`diff` 用于在检测到更改时使 CI 构建失败,从而确保代理的稳定性和安全性。
-
新漏洞揭示 AI 代理易受恶意工具描述攻击
在 AI 代理处理工具描述的方式中,尤其是在 MCP 服务器中,已发现一个安全漏洞。恶意指令可以嵌入到工具清单的“description”字段中,代理通常会将其视为受信任的文档。这使得攻击者能够通过将指令隐藏在人类审阅者可能忽略的不可见字符或纯文本中,诱骗代理执行有害命令,例如窃取 API 密钥等敏感数据。提出的解决方案包括将工具描述视为不受信任的输入,对 Unicode 进行规范化,去除不可见字符,并在注册工具之前标记命令式指令。
-
新工具通过哈希工具定义来防止AI模型“拉地毯式跑路”
一种名为 mcp_pin.py 的新方法已被开发出来,以防止“MCP工具漂移”,这是一种安全漏洞,即服务器在用户批准工具的描述或 inputSchema 后对其进行修改。该技术由 Invariant Labs 发现,并被 OWASP 列为 MCP03:2025 工具投毒。它包括在批准时创建工具定义的 SHA-256 哈希,并在每次后续使用前重新验证。该解决方案用大约 40 行 Python 代码实现,并充当 CI 网关,以阻止潜在的“…
-
Snyk 的 MCP 服务器扫描器执行代码,引发安全和数据担忧
Snyk 用于 MCP 服务器的代理扫描工具通过执行它们来检索工具描述,这一过程在扫描不受信任的配置或在 CI/CD 管道中时会引发安全担忧。此方法涉及连接到服务器并将数据传输到 Invariant Labs 的 API,这可能对数据驻留和合规性造成问题。另一种方法 Bawbel 通过读取配置文件和清单进行静态分析,而无需执行任何代码,因此适用于部署前检查和隔离环境,但它无法检测运行时特定行为。