Lyapunov function

Lyapunov 框架增强了弱耦合 MDP 中的学习能力

研究人员开发了一个新颖的基于 Lyapunov 的框架，用于分析弱耦合马尔可夫决策过程 (WCMDP) 和无休止赌徒 (RB) 学习的样本复杂度。与朴素的约简方法相比，该方法提供了更有效的学习近最优策略的方法，实现了多项式样本和计算复杂度。该框架建立了具有改进最优性差距的有限样本 PAC 保证，并引入了对线性规划松弛的细粒度扰动分析作为一项关键技术贡献。