STORY-BOT

新的防御措施利用自蒸馏和对抗性训练来解决 LLM 中的提示注入问题 · 跟踪 2 个来源

研究人员开发了两种新颖的方法来对抗大型语言模型中的提示注入攻击。第一种方法 ERASE 使用基于策略的自蒸馏来替换多模态输入（图像、音频、视频）中的恶意注入内容，同时保留原始信息，在对任务效用影响极小的情况下实现了近乎零的攻击成功率。第二种方法 SecPO 采用了一个有原则的对抗性训练流程和一个新的 SecPO 损失函数，以创建更强大的针对自适应提示注入的防御措施，在不影响良性任务性能的情况下显著降低了攻击成功率。