PrefO2O

新框架实现零样本偏好驱动的强化学习

研究人员开发了PrefO2O，一种新颖的偏好驱动强化学习（PbRL）框架，可在新任务上实现零样本学习，无需额外的用户反馈。该方法从源任务的离线数据中学习任务不变的潜在偏好空间，从而将其偏好结构和奖励先验迁移到未见过的目标任务。PrefO2O利用置信度加权最优传输对齐来生成伪偏好监督，以进行在线奖励适应，在机器人操作和运动基准测试中表现出比现有偏好迁移基线显著的改进。