研究人员为异步时间差分（TD）学习（强化学习中的一项关键算法）开发了一个新的理论框架。该研究为标准表格型TD学习的最后一个迭代提供了尖锐的统计率，并对具有特定数量转移的误差界限提供了保证。这项工作允许非可逆马尔可夫链、任意初始状态分布和有界奖励，其证明方法涉及锚定局部泊松方程和命中时间补偿恒等式。 AI
影响 为强化学习算法提供了理论基础，可能提高其效率和适用性。
排序理由 详细介绍机器学习算法理论进展的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
We study the last iterate of standard tabular temporal-difference (TD) learning from a single trajectory of a finite Markov reward process. For discount factor $γ$, write $H=(1-γ)^{-1}$, and let $μ_{\min}$ and $t_{\operatorname{mix}}$ denote the minimum stationary probability and…
arXiv:2609.38880v1 Announce Type: new Abstract: We study the last iterate of standard tabular temporal-difference (TD) learning from a single trajectory of a finite Markov reward process. For discount factor $\gamma$, write $H=(1-\gamma)^{-1}$, and let $\mu_{\min}$ and $t_{\opera…