研究人员开发了一种新的基于模型的受控马尔可夫链自举法，特别适用于数据生成策略未知的离线强化学习场景。该技术为转移估计器建立了分布一致性，并扩展到策略评估和恢复，为价值函数和Q函数提供渐近有效的置信区间。在RiverSwim问题上的实验结果表明，与现有方法相比，所提出的置信区间在有限数据下提供了更好的校准和覆盖率。 AI
影响 提高了离线强化学习的置信区间校准，有助于更可靠的策略评估和恢复。
排序理由 该集群包含一篇学术论文，详细介绍了一种用于受控马尔可夫链的新统计方法，与强化学习相关。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.12410v1 Announce Type: new Abstract: We propose and analyze a model-based bootstrap for transition kernels in finite controlled Markov chains (CMCs) with possibly nonstationary or history-dependent control policies, a setting that arises naturally in offline reinforcem…
We propose and analyze a model-based bootstrap for transition kernels in finite controlled Markov chains (CMCs) with possibly nonstationary or history-dependent control policies, a setting that arises naturally in offline reinforcement learning (RL) when the behavior policy gener…