AdvSafe

新的 AdvSafe 框架增强了大型推理模型的安全对齐

一篇新的研究论文介绍了一种名为 AdvSafe 的双重对抗框架，旨在提高大型推理模型（LRMs）的安全对齐能力。该方法通过解构对抗机制来训练 LRM 理解和防御有害提示，而不仅仅是识别提示模式。该框架包括一个对抗合成阶段，由一个代理生成越狱提示，然后是一个对抗提取阶段，由一个教师模型解释这些攻击如何成功以及如何缓解。实验表明，使用 AdvSafe 训练的 LRM 在抵御越狱和分布外提示方面表现出显著增强的鲁棒性，同时推理效用损失极小。