研究人员开发了一个新的离线强化学习框架，该框架使用扩散模型来估计最优动作值函数 Q*。该方法通过将算子估计与值函数学习解耦，解决了未知奖励函数和转移核的挑战。该方法首先使用条件扩散模型来近似最优贝尔曼算子，然后将这些估计器插入贝尔曼方程，通过最小化经验贝尔曼残差来推导深度 Q* 估计器。理论分析显示了学习贝尔曼算子和 Q* 估计器的尖锐的非渐近收敛率，大量实验证明了其有效性。 AI
影响 这项研究可以提高在现实世界交互有限或成本高昂的情况下训练 AI 代理的效率和准确性。
排序理由 该集群包含一篇详细介绍离线强化学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
