实体
Llama Prompt Guard 2
Llama Prompt Guard 2
PulseAugur coverage of Llama Prompt Guard 2 — every cluster mentioning Llama Prompt Guard 2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AI 代理安全:提示注入、文件系统泄露和防护栏漏洞暴露
安全研究人员发现了 AI 代理系统中的重大漏洞,尤其是在提示注入和文件系统泄露方面。对 MCP 服务器的一项研究显示,相当大比例的服务器存在可利用的文件系统泄露,并发现了实际的 CVE。此外,一个新的基准测试 INFUSE 量化了当前防护栏在应对间接提示注入方面的有限有效性,表明提示级别的加固更有效。研究还强调,语言障碍会影响代理防护栏的安全性,而 Anthropic 正在开发防止模型提取攻击的方法。
-
Niyam-AI 使用零知识证明实现可验证的 AI 代理安全
研究人员推出了 Niyam-AI,这是一个旨在为 AI 代理提供加密可验证安全护栏的新颖框架。与依赖软件检查的现有方法不同,Niyam-AI 使用隔离的 Judge 模型和零知识证明(zk-SNARKs)来数学上验证每个工具调用是否符合预定义的约束。这种方法提供了可证明的安全执行保证,允许第三方在无需访问模型内部权重的情况下确认合规性。在 Agent-SafetyBench 数据集上的评估表明,Niyam-AI 的性能显著优于 NeM…