实体
Prompt Guard 2
Prompt Guard 2
PulseAugur coverage of Prompt Guard 2 — every cluster mentioning Prompt Guard 2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新研究解决了LLM裁判的漏洞和对抗性攻击问题
两篇新研究论文探讨了大型语言模型(LLM)作为裁判时的漏洞和防御机制。第一篇论文介绍了StableJudge,一个通过在输入到达LLM裁判之前进行清理来减轻提示注入攻击的轻量级框架。第二篇论文提出了TypeSafe AI的Jev裁判与各种LLM裁判和本地分类器的受控对抗性比较,发现Jev在基于规则的任务上表现稳健,但在基于判断的任务上则不然。
-
AI代理安全存在缺陷:检测器失效,上下文致盲,阈值是关键
一项对AI代理安全性的调查显示,目前的提示注入检测方法在很大程度上是无效的。作者使用了一系列现实攻击的数据集测试了包括Meta的Prompt Guard 2在内的多种检测器,发现大多数检测器要么未能识别攻击,要么在上下文数据中丢失信号,要么产生不可接受的高误报率。通过调整检测阈值,Prompt Guard 2表现有所改善,但作者警告称,这可能表明该模型正在学习特定的攻击模板,而不是通用的注入技术,AI代理安全的核心问题仍未解决。
-
新的LLM隐写术方法绕过文本、激活防御
研究人员发现了一种在大型语言模型(LLM)中嵌入隐藏消息的新颖方法,该方法可以绕过传统的基于文本的安全措施。一种技术涉及将有效载荷作为结构化浮点参数进行传输,即使存在文本分类器也能逃避检测。另一种方法利用LLM推理中使用的伪随机数生成器,将消息嵌入到种子中,从而仅凭生成的文本就可以重建秘密。此外,一项研究表明,即使是旨在检测这些隐藏消息的复杂的内部激活探测也可以被规避,尽管特定的数据级干预可以恢复可检测性。