Hypergradient

新方法估计双层强化学习中的跟随者奖励

研究人员开发了一种名为奖励估计超梯度（RE-HG）的新方法，用于解决跟随者奖励函数未知的双层强化学习场景。RE-HG 使用逆强化学习（IRL）从观察到的轨迹中估计跟随者的奖励。该方法已被证明对线性奖励有效，通过聚合不同动态下的估计来减轻 IRL 的偏差。对于有限样本，RE-HG 通过截断小特征值来稳定估计，实验表明其性能与白盒预言机相当，同时避免了局部最优。