AdvJudge-Zero

新方法利用对抗性令牌攻击 LLM 法官

研究人员开发了一种名为 AdvJudge-Zero 的方法，该方法可以通过使用对抗性控制令牌来翻转 LLM 作为法官系统的决策。这些令牌从法官自己的下一个令牌分布中采样，可以在许多模型和数据集组合中使“否”的裁决在超过 90% 的情况下变为“是”。基于机制分类法进行 LoRA 微调的防御机制已被证明可以增强法官抵御这些攻击的能力，从而防止训练期间的奖励崩溃失败。