RVI Q-learning

新研究详细介绍了 RVI Q-学习的 $O(1/n)$ 收敛率

研究人员在有限弱通信马尔可夫决策过程 (MDP) 中为同步相对价值迭代 (RVI) Q-学习建立了有限时间收敛保证。该研究详细介绍了在特定噪声条件下随机迭代的收敛率，为 RVI Q-学习迭代的均方 Bellman 跨度残差提供了 $O(n^{-1})$ 界限。这项工作表明，在期望中，$O(\epsilon^{-1})$ 次同步迭代足以获得 $\epsilon$-最优策略，并具有依赖于实例的常数。