Semantic Overlays

新的“语义叠加”技术增强了大型语言模型对抗提示注入的安全性

研究人员开发了一种名为语义叠加的新技术，以对抗语言模型中的提示注入攻击。该方法向模型的输入引入了一个非文本通道，使其能够理解文本跨度的身份，而不仅仅是它们的令牌表示。通过将学习到的适配器应用于模型的残差流，语义叠加可以编码复杂的语义，例如将跨度标记为不可执行，这显著降低了各种提示注入攻击的成功率，同时保持了原始内容的可读性和实用性。