Bordair

AI 提示注入攻击利用多轮对话和社交工程

一位 AI 提示注入检测 API 的开发者观察到，最有效的攻击并非技术上复杂，而是利用社交工程策略。这些攻击通常涉及多轮对话，其中可疑指令隐藏在多条消息中，或者通过叙述一个模型随后采纳的结论来利用模型的惯性。另一种常见策略是通过重新解释规则的含义来重新定义规则，利用模型的乐于助人来对抗其安全协议。该开发者认为，仅靠分类器的防御是不够的，主张对整个对话历史进行有状态监控，以更好地检测这些不断演变的威胁。