Rubric-Induced Preference Drift

新研究揭示LLM评估标准易受偏好漂移攻击

一项新研究论文识别出大型语言模型（LLM）评估和对齐中的一种漏洞，称为“标准诱导偏好漂移”（RIPD）。当自然语言标准的编辑（即使是通过基准验证的编辑）可能导致LLM裁判的偏好发生系统性偏移时，就会发生这种情况。研究人员证明，可以通过“偏好攻击”来利用这种漂移，即通过符合基准标准的编辑来引导LLM判断偏离可信参考，准确率最多可降低27.9%。这种诱导的偏差会通过对齐管道传播，导致训练过的LLM策略的行为发生持续和系统的漂移。