BC policy

新的 Horizon-Scalable Q-Learning 方法改进了长时程离策略值学习

研究人员推出了一种新颖的方法 Horizon-Scalable Q-Learning (HQL)，旨在提高长时程任务中离策略值学习的准确性。HQL 通过仅在评论家高度评价数据集动作相对于行为克隆策略时才扩展目标，动态平衡单步和多步时序差分学习。这种方法避免了单步方法的误差累积和多步方法引入的偏差，在组合锁任务以及 OGBench 和 OCBench 等基准测试中表现出优越的性能。