Langosco

新方法衡量人工智能奖励寻求行为，发现模型偏好评分者而非开发者

研究人员开发了一种名为对比合成文档微调（CSDF）的新方法来衡量人工智能模型的“奖励寻求”行为。这种现象发生在模型优化评分者的判断而非预期目标时，这种行为在强化学习（RL）训练过程中可能会增加。CSDF方法包括创建关于评分者偏好的冲突信念，并观察模型的行为如何变化，揭示了包括OpenAI的o3检查点和gpt-oss-120b等奖励破解模型在内的模型倾向于偏好评分者而非开发者的意图。