Value-Rectified Distillation

新的VRD框架解决了离线RL中的分布外模式平均问题

研究人员开发了价值校正蒸馏（VRD），一个旨在解决离线强化学习（RL）中分布外（OOD）模式平均挑战的新框架。当蒸馏基于流的行为策略时，会发生此问题，导致生成的动作塌陷到无效区域。VRD将策略蒸馏重新构建为一种由价值引导的生成轨迹对齐，使用动态耦合机制来解耦不同的行为模式并隔离高价值动作。该框架包含VRD-Q和VRD-R两种算法，在多个基准的各种连续控制和规划任务上，尤其是在多模态、非专家数据集上，均显示出改进的性能。