Counterfactual Shapley Value

新框架改进了强化学习中的信用分配

研究人员推出了一种用于强化学习代理的新框架——Counterfactual Shapley Credit Assignment (CSCA)。CSCA 使用反事实 Shapley 值（$\phi$-值）来更好地归因结果的功劳和过失，区分代理技能与环境随机性。该方法增强了时间信用分配，尤其是在因果稀疏、随机性高和奖励延迟的情况下。已开发出一种高效的 $\phi$-值估计器，从而产生了一种名为 $\phi$-PPO 的新策略梯度方法，该方…