Causal Soft Q Imitation Learning

新的因果模仿学习算法在复杂任务上表现优于先前方法

研究人员开发了新的因果模仿学习（CIL）算法，即因果软Q模仿学习（SQIL）和因果逆软Q学习（IQ-Learn），以解决现有CIL方法在应用于复杂、长时序任务时的局限性。这些新算法利用了具有先进逆强化学习目标的因果调整框架，并利用了序列$\pi$-后门标准的有效近似。通过利用连续控制环境的因果结构，它们减小了调整窗口，从而在混淆的长时序任务上显著提高了性能，甚至在某些情况下超越了专家性能。