Semi-gradient TD

新研究分析神经网络中半梯度TD学习的收敛性

研究人员在arXiv上发表了一篇论文，详细介绍了半梯度时间差分（TD）学习的收敛特性，这是强化学习中的一个基本算法。该研究关注均场机制下的两层神经网络，识别出一种稳定性机制，其中熵诱导的弛豫克服了移动引导目标对敏感性的影响。该分析证明了指数级收敛到一个唯一不动点，并量化了其相对于无正则化贝尔曼解的偏差，这对通过软Q学习进行的熵正则化离策略控制具有启示意义。