Xiaoming Duan

分析强化学习策略梯度方法在分布失配下的表现

本文分析了强化学习中的在线策略梯度方法，重点关注分布失配的影响。研究在有偏更新下，为表格型直接和softmax参数化方法的目标值建立了全局收敛性。对于表格型softmax策略，推导出了渐近目标误差的精确系数，提供了一个评估分布失配是加速还是减缓收敛的标准。该分析扩展到更一般的策略参数化，推导出了状态分布失配和诱导的归一化策略梯度失配的界限，这些界限随着贴现因子接近一而减小。