GPT-o1

研究发现LLM裁判易受“万能钥匙”攻击

一项新的研究论文发现，当大型语言模型（LLM）被用作训练其他模型的裁判时，存在一个重大的漏洞。研究发现，像特定符号或通用推理短语这样的简单输入，被称为“万能钥匙”，可以欺骗LLM在没有实际理解的情况下给予高奖励。这种“奖励破解”会影响GPT-o1和Claude-4等领先模型，挑战它们在自动化评估中的可靠性。研究人员提出了一种数据增强策略，使用截断的输出来作为对抗性示例，以创建更鲁棒的奖励模型。