SafeDialBench

研究人员通过激活信号检测多轮 LLM 攻击

研究人员开发了一种名为 Latent Adversarial Detection 的新方法，用于识别针对大型语言模型的多轮提示注入攻击。该技术分析模型残差流内的内部激活模式，识别出一种称为“对抗性不安”的信号，该信号表明存在恶意意图。通过提取五个标量轨迹特征，该系统显著提高了检测率，在合成数据上达到了 93.8% 的准确率，并展示了其在实际应用中的潜力。