实体
PISmith
PISmith
PulseAugur coverage of PISmith — every cluster mentioning PISmith across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 SecOPD 方法大幅削减 AI 代理的提示注入攻击
研究人员开发了一种名为安全 On-Policy Distillation (SecOPD) 的新方法来对抗自适应提示注入，这是 AI 代理面临的关键威胁。与使用序列级反馈的先前技术不同，SecOPD 在微调期间提供令牌级反馈，使模型能够更精确地学习其输出的哪些部分不安全。这种方法显著降低了攻击成功率，经过防御的 Qwen3.6-27B 模型在面对自适应提示注入时达到了 9.0% 的 ASR，相比之前最先进的 94.0% ASR 有了显…
-
新的RL框架PISmith测试并攻破提示注入防御
研究人员开发了PISmith，一个新颖的强化学习（RL）框架，旨在严格测试大型语言模型（LLMs）中提示注入防御的有效性。该框架训练一个攻击LLM，通过在黑盒设置中优化注入的提示来发现漏洞，在黑盒设置中只能观察到LLM的输出。PISmith结合了自适应熵正则化和动态优势加权，以克服奖励稀疏性等挑战，从而能够从罕见的成功攻击中进行更有效的学习。在13个基准和代理设置上的评估表明，PISmith能够成功突破最先进的防御，其性能优于现有的攻…