两篇新研究论文从不同的理论角度分析了Q学习，一种基础的强化学习算法。第一篇论文侧重于Q学习固有的高估偏差，将误差分解为正负分量，以推导出单独的有限时间收敛速率。第二篇论文将线性Q学习置于切换线性系统理论的框架内，使用联合谱半径来分析有限时间误差并提供收敛证明。 AI
影响 这些理论分析可以通过解决高估偏差等基本问题，从而实现更健壮和高效的强化学习智能体。
排序理由 两篇在arXiv上发表的学术论文，详细介绍了Q学习算法的理论进展。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.16103v2 Announce Type: replace Abstract: Q-learning is known to suffer from overestimation bias: because the Bellman update maximizes noisy or imperfect action-value estimates, positive errors can be selected and propagated, causing learned values to exceed the true op…
arXiv:2605.11021v3 Announce Type: replace Abstract: Q-learning is a fundamental algorithmic primitive in reinforcement learning. This paper develops a new framework for analyzing linear Q-learning from a switching linear system (SLS) viewpoint, where linear Q-learning denotes Q-l…