Constrained Progressive Attack

新的交互式后门攻击针对LLM对话系统

研究人员开发了一个新的框架，用于对基于大型语言模型（LLM）的主动对话系统进行交互式后门攻击。这些攻击涉及污染训练数据，植入一个可以通过普通用户话语激活的偏见，从而在无需在部署时修改提示的情况下，将多轮对话引导至攻击者的目标。实验证明了三种攻击变体——直接攻击、约束性渐进攻击和无约束性渐进攻击——在心理咨询等场景中的有效性，同时保留了模型的正常效用。现有的防御机制在过滤这些复杂的被污染对话方面效果有限。