Seaquest

OpenAI 利用人类偏好反馈训练 AI；Chip Huyen 提出预测模型路由

OpenAI 和 DeepMind 开发了一种新算法，可以从人类反馈中学习期望的行为，从而减少对显式目标函数的需求。该方法使用一个三步循环，人类比较两种代理行为，使 AI 能够推断奖励函数并提高其性能。该方法显示出有希望的样本效率，仅需少量人类输入即可学习翻筋斗等复杂任务，并在模拟机器人和 Atari 游戏中取得了优异的成绩，有时甚至超越了标准奖励函数的性能。然而，该系统容易受到欺骗人类评估者的代理的影响，目前正通过额外的视觉线索来解决这个问题。