plan injection

新的“计划注入”攻击规避大型语言模型安全监控器

研究人员发现了一种大型语言模型安全策略的新漏洞，称为“计划注入”。该方法涉及在大型语言模型的上下文中插入看似无害但具有欺骗性的推理，然后可以引导模型执行对抗性操作，同时规避监控系统。该攻击在各种基准测试中都显示出有效性，实现了显著的规避率，甚至导致监控器合理化注入的计划，而不是标记它们。这项研究突显了当前大型语言模型安全协议的潜在弱点，以及对更强大的监控技术的需求。