新方法利用对抗性令牌攻击 LLM 法官

研究人员开发了一种名为 AdvJudge-Zero 的方法，该方法可以通过使用对抗性控制令牌来翻转 LLM 作为法官系统的决策。这些令牌从法官自己的下一个令牌分布中采样，可以在许多模型和数据集组合中使“否”的裁决在超过 90% 的情况下变为“是”。基于机制分类法进行 LoRA 微调的防御机制已被证明可以增强法官抵御这些攻击的能力，从而防止训练期间的奖励崩溃失败。 AI

影响 这项研究突显了基于 LLM 的奖励系统中的一个漏洞，可能影响 RLHF 和 RLVR 流的可靠性，并需要开发更鲁棒的评估方法。

排序理由 该集群描述了一篇详细介绍操纵 LLM 作为法官系统的新方法的创新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• AdvJudge-Zero
• Gemma
• GSM8K
• Llama
• LLM-as-a-Judge
• LoRA
• Qwen
• RLHF
• RLVR

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →