Nathan S. De Lara

新的SMAC方法实现了鲁棒的离线到在线强化学习迁移

研究人员开发了一种名为得分匹配Actor-Critic (SMAC) 的新方法，以改进强化学习模型从离线到在线环境的迁移。传统方法在在线微调离线训练模型时，性能通常会下降，这归因于损失景观中的性能谷。SMAC通过在离线训练期间对Q函数进行正则化来解决这个问题，确保向在线学习的平稳过渡。实验表明，SMAC在迁移到Soft Actor-Critic和TD3等算法时，在各种D4RL任务上实现了显著的遗憾减少并保持了性能。