Counterfactual Transport Flows

新框架使用反事实流优化离线强化学习轨迹

研究人员引入了一个名为反事实输运流（counterfactual transport flows）的离线强化学习新框架。该方法旨在仅使用记录的历史数据来改进决策策略，而不会超出可用信息的范围。该方法通过在潜在空间中寻找具有更高反馈的相似轨迹来构建局部偏好对，然后指导一个保守的优化过程。这使得在保持原始行为和应用更强改进之间进行可控的权衡，并在 D4RL 基准测试上得到了验证。