Bellman operator
PulseAugur coverage of Bellman operator — every cluster mentioning Bellman operator across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架解决了离线最大熵强化学习问题
研究人员开发了一个新的离线最大熵强化学习框架,该框架将环境建模与价值函数学习分开。该方法利用基于概率流ODE的条件扩散模型来估计奖励分布和转移核。由此产生的分布估计器近似软最优贝尔曼算子,然后使用深度神经网络最小化该算子以学习最优软行动价值函数。该方法包括对分布算子估计和软值学习的非渐近理论保证,其结果不需要贝尔曼完备性。
-
新方法计算网络防御博弈的纳什均衡
研究人员开发了一种名为动态低秩均衡计算(DLR-NE)的新方法,用于高效计算随机博弈的纳什均衡,特别是在工业控制系统(ICS)面临高级持续性威胁(APTs)的背景下。该方法利用了ICS中攻击和防御策略固有的低秩结构,与传统的全秩值迭代相比,可以显著加快计算速度。DLR-NE保证了明确的近似误差和几何收敛性,提供了一种以更低的计算成本和经过认证的安全性来开发鲁棒防御策略的实用方法。
-
新的 Q-迭代方法解决了连续动作零和马尔可夫博弈问题
研究人员开发了一种在线拟合 Q-迭代新方法,用于连续动作零和马尔可夫博弈。该方法利用凸凹神经网络函数逼近器来确保极小极大问题的纯策略鞍点。该研究为具有连续状态和动作的非线性二次博弈建立了有限样本保证,标志着该领域的一项重大进展。
-
新CCPL方法解决强化学习中的延迟后果问题
研究人员开发了一种名为因果后果惩罚学习(CCPL)的新方法,以解决约束强化学习(RL)中后果延迟且随机的局限性。CCPL引入了一个延迟校正的贝尔曼算子,该算子能够适应未知的随机延迟,确保收缩证明成立。此外,它还利用干预后果网络(ICN)进行因果归因,估计每个动作的边际因果贡献,而不是依赖于时间接近度进行惩罚。
-
新的 CVaR MDP 公式通过 Bellman 算子增强了风险敏感策略学习
研究人员开发了一种新颖的马尔可夫决策过程 (MDP) 静态条件风险价值 (CVaR) 目标公式,以更好地处理安全关键应用中的尾部风险。他们的方法引入了一个 Bellman 算子,该算子提供密集的每步奖励,并在有界值函数的整个空间中表现出收缩特性,从而避免了先前方法的稀疏奖励和退化不动点。这一理论基础使得风险规避值迭代和无模型 Q-学习算法得以发展,这些算法在实证测试中已证明了有效的性能-安全权衡以及学习 CVaR 敏感策略的能力。
-
新框架应对多智能体强化学习中的模型不匹配问题
研究人员开发了一个新的固定鲁棒均值场博弈框架,以应对在实际场景中部署多智能体强化学习(MARL)所面临的挑战。该框架解决了训练模拟器与实际环境之间的模型不匹配问题,这可能导致性能下降。它通过在不确定集内针对最坏情况的转移模型优化策略来引入分布鲁棒性,为缓解这些问题提供了一种原则性的方法。该论文建立了一个鲁棒动态规划原理,并证明了固定鲁棒均值场均衡的存在性,同时提供了一个具体的算法和收敛性保证。