arXiv:2503.01134

研究论文强调策略外评估的指数级难度

一篇新发表在arXiv上的研究论文探讨了在部分可观察马尔可夫决策过程（POMDP）中，当记录机制依赖于历史数据时，策略外评估的固有难度。研究表明，即使有大量的记录数据，准确评估目标策略价值的能力也可能受到指数级的限制。这种限制源于记录器对历史的依赖，这会模糊关键的转移信息，尤其是在发生重置时。该论文精确地描述了这一统计挑战，并提出了一个最优估计器，说明了在特定揭示行为定义下问题的棘手性。