Dong Tian

Transformer critic 提升了强化学习在长时任务中的表现

研究人员开发了一种新的序列条件判别器，用于 Soft Actor-Critic (SAC)，该判别器使用轻量级 Transformer 来模拟轨迹上下文。这种方法集成了 N-步回报而无需重要性采样，使其能够捕获长时和稀疏奖励问题的时序结构。该方法在局部运动基准测试中，尤其是在长轨迹控制任务上，展示了比标准 SAC 和其他基线一致的性能提升。