Critic-Guided Synthetic Experience

新的CGSE方法增强了世界模型的离线学习

研究人员开发了一种名为批评者引导合成体验（CGSE）的新颖方法，以增强世界模型中从离线数据集中学习的能力。该方法使用世界模型作为局部转换生成器，采用批评者引导在模型内选择动作并创建合成体验。CGSE通过在信任区域内最大化Q函数来优化候选动作，从而扩充现有数据集，然后使用世界模型预测未来状态并选择最优转换。该技术可以在不要求新的现实世界交互或测试时规划器的情况下离线生成合成体验，从而在OGBench操作任务上将平均成功率提高了7.1%。