CoT Forgery

新研究发现：提示注入利用LLM角色混淆 · 追踪8个来源

新研究表明，提示注入攻击利用的是大型语言模型感知角色的根本性缺陷，而非安全过滤器的不足。研究人员发现，模型优先考虑文本的风格呈现，而非其结构性角色标签，这会导致混淆和成功的越狱。这种“角色混淆”意味着，让不可信的输入模仿特权文本（如模型自身的推理）的风格，就可以覆盖安全协议。研究结果表明，目前通常侧重于内容过滤的安全措施是不够的，需要新的方法来解决这个核心感知问题。