新方法简化了强化学习中的部分可观察性

研究人员开发了一种名为最小马尔可夫化（Minimal Markovization）的方法来解决智能体在部分可观察性下行动的挑战。该技术表征了全息覆盖决策过程（holonomy-cover decision processes）的最小马尔可夫充分统计量，这是一类特殊的POMDPs，其中可见动力学是马尔可夫的，而隐藏模式由可见转换置换。该方法引入了“稳定商”（stable quotient）来创建保留奖励和后继状态的逐观察抽象，证明了当前观察与其稳定类别配对构成了精确的有限马尔可夫状态。这使得“全息记忆强化学习”（Holonomy Memory Reinforcement Learning）成为可能，它使用稳定类别来表示记忆，通过边缘传输进行更新，并在同步后应用标准的有限MDP强化学习技术。实验证明了有效的状态压缩和在最小记忆状态下的准确性能。 AI

影响 这项研究可能带来更高效的强化学习智能体，能够处理复杂、部分可观察的环境。

排序理由 这是一篇详细介绍强化学习新理论方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Finite-MDP
• Gotit.pub
• Holonomy-Cover Decision Processes
• Holonomy Memory Reinforcement Learning
• Hugging Face
• IArxiv Recommender
• Influence Flower
• Markov
• partially observable Markov decision process
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →