PulseAugur
中
实时 21:00:04
实体 Markov decision processes: a tool for sequential decision making under uncertainty

Markov decision processes: a tool for sequential decision making under uncertainty

PulseAugur coverage of Markov decision processes: a tool for sequential decision making under uncertainty — every cluster mentioning Markov decision processes: a tool for sequential decision making under uncertainty across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
26
90 天内 96
发布 · 30天
0
90 天内 0
论文 · 30天
26
90 天内 94
层级分布 · 90 天
主题
关系
情绪 · 30 天

8 天有情绪数据

最近 · 第 1/5 页 · 共 97 条
  1. TOOL · CL_366199 ·

    新方法学习基函数以改进马尔可夫决策过程近似

    研究人员开发了一种新方法,通过直接从模型中学习基函数(BFs)来近似马尔可夫决策过程(MDPs)中的价值函数。这种称为贝尔曼算子基函数(BOBF)学习的方法,旨在提高传统方法中预定义或随机生成BFs的准确性。与现有方法相比,该技术在库存和排队控制问题的数值实验中表现出显著的性能提升。

  2. TOOL · CL_364158 ·

    新的NS-Gym框架标准化了非平稳AI决策制定

    研究人员推出了一款新颖的开源仿真框架NS-Gym,旨在应对非平稳环境下的决策制定挑战。该工具包与Gymnasium框架集成,为非平稳马尔可夫决策过程(NS-MDPs)提供了标准化的接口和基准问题。通过将环境动力学与智能体的决策制定模块分离,NS-Gym旨在促进模块化适应,并实现动态环境中算法的可复现评估。该框架有望推动在不断变化条件下的序贯决策制定研究。

  3. TOOL · CL_352355 ·

    新的MCTS算法使用ERM目标解决了风险感知MDP

    研究人员开发了一种新的蒙特卡洛树搜索(MCTS)算法,旨在解决具有熵风险度量(ERM)目标的风险感知马尔可夫决策过程(MDP)。该算法已被证明是正确的,确保经验ERM收敛到最优ERM,并表现出多项式遗憾集中。该方法与现有的风险感知MDP动态规划公式相结合,并在实验评估中展示了其平衡风险中性和风险规避行为的能力。

  4. TOOL · CL_344350 ·

    新研究详细介绍了 RVI Q-学习的 $O(1/n)$ 收敛率

    研究人员在有限弱通信马尔可夫决策过程 (MDP) 中为同步相对价值迭代 (RVI) Q-学习建立了有限时间收敛保证。该研究详细介绍了在特定噪声条件下随机迭代的收敛率,为 RVI Q-学习迭代的均方 Bellman 跨度残差提供了 $O(n^{-1})$ 界限。这项工作表明,在期望中,$O(\epsilon^{-1})$ 次同步迭代足以获得 $\epsilon$-最优策略,并具有依赖于实例的常数。

  5. TOOL · CL_344240 ·

    新的Q学习算法解决了决策过程中的模型不确定性问题

    研究人员开发了一种新的Q学习算法,用于马尔可夫决策过程,专门解决模型不确定性问题。该算法在有限模糊集内运行,允许用户定义不确定性模型,包括竞争性拟合模型和压力场景。所提出的方法确保学习到的Q函数几乎肯定地收敛到鲁棒最优值,并提供高概率的误差证书。

  6. TOOL · CL_340146 ·

    新的PRISM框架改进了在线医疗咨询中的AI

    研究人员开发了PRISM,一种用于在线医疗咨询的新型框架,该框架解决了患者披露不规律和主题转移的挑战。PRISM受部分可观察马尔可夫决策过程的启发,将潜在临床状态的估计与动作选择分开,使其能够适应不断变化的对话轨迹。这种方法维护了关于咨询状态的不断演变的信念,与现有的LLM和临床代理相比,能够实现更准确的临床决策和改进的响应生成。

  7. TOOL · CL_327547 ·

    新算法从多样化数据源学习序列决策

    研究人员开发了一种名为群体鲁棒悲观值迭代(GR-PEVI)的新算法,用于从多个、可能异构的数据源学习序列决策策略。该方法通过将问题构建为分布鲁棒马尔可夫决策过程,解决了离线设置中数据覆盖有限的挑战。GR-PEVI 结合了最坏情况聚合和数据依赖的悲观惩罚,提供了有限样本的次优性保证,并可扩展到聚类源。该算法的有效性已通过模拟研究得到证明,并应用于涉及多发性硬化症治疗决策的临床环境。

  8. RESEARCH · CL_324054 ·

    arXiv 迎来关于提升推理和鲁棒强化学习的新研究

    2026年10月26日,两篇新的研究论文提交至arXiv,分别聚焦于AI的不同领域。第一篇论文“Query-Driven Learning for Lifted Reasoning”探讨了在一阶逻辑环境中整合学习与推理,提出了一种具有理论效率保证的算法。第二篇论文“Provably Efficient Q-learning for Robust Reinforcement Learning”为马尔可夫决策过程中的鲁棒强化学习引入了一种…

  9. TOOL · CL_324040 ·

    新的InCOPE方法用有限数据改进了策略外评估

    研究人员开发了InCOPE,一种新颖的上下文策略外评估(OPE)方法,旨在利用有限的行为策略数据准确评估决策策略。该方法涉及在马尔可夫决策过程和策略对的生成先验上预训练一个网络,使其能够在没有特定任务更新的情况下预测新的表格问题的预期回报。在临床和其他表格环境中的实验证明了InCOPE在策略价值估计方面的有效性。

  10. RESEARCH · CL_332720 ·

    AI代理获得先进的内存系统以处理复杂任务 · 跟踪10个来源

    arXiv上发表的多篇研究论文探讨了用于AI代理的高级内存系统,重点是提高它们处理长期任务和复杂交互的能力。CoReMem和DISCERN分别提出了管理内存的新框架,通过内化成本和解决歧义。AstroMemBench为航天器代理引入了一个基准,而HeMeR和MemCredit则侧重于协调异构内存模块以及优先考虑决策效用而非仅仅是相关性。此外,关于程序演化和训练后蒸馏的研究旨在发现和优化代理内存设计,以提高从编码到生物医学应用的各种领域…

  11. TOOL · CL_317555 ·

    新的自适应RMDP框架增强了AI监视任务

    研究人员开发了一种用于协作作战飞机(CCA)执行情报、监视和侦察(ISR)任务的鲁棒马尔可夫决策过程(RMDP)自适应框架。这种新方法通过允许CCA根据新的观测实时调整其决策策略,克服了不确定环境和对抗性威胁带来的挑战,超越了静态RMDP的局限性。实验表明,与传统的规划技术相比,这种自适应方法能带来更高的任务奖励并减少暴露事件。

  12. TOOL · CL_317387 ·

    新算法为低秩约束CMDPs提供理论保证

    研究人员开发了两种新算法,REP-PD-TEG和REP-PD-H-TEG,用于具有连续状态空间的低秩约束马尔可夫决策过程(CMDPs)中的表示学习。REP-PD-TEG通过最大似然学习转移特征,然后使用乐观的拉格朗日目标进行规划,从而在软累积违规设置下实现最优遗憾界限。对于更严格的硬累积违规,REP-PD-H-TEG采用奖励修正的低置信度效用证书和稳定的对偶搜索,以确保每集的可行性,同时提供遗憾界限和硬违规界限。这些方法代表了首个在低…

  13. TOOL · CL_315096 ·

    综述梳理了FPGA和IC上强化学习的实现

    这篇综述论文回顾了100多项关于在现场可编程门阵列(FPGA)和集成电路(IC)上实现强化学习(RL)算法的研究。它按RL算法家族、硬件实现策略和应用领域对研究进行了分类,对RL如何映射到可重构和固定硬件进行了统一分析。该论文探讨了高效RL驱动硬件系统的架构模式、实际限制和未来研究方向,为研究人员提供了一个综合参考。

  14. TOOL · CL_312905 ·

    新研究探讨平均奖励鲁棒马尔可夫决策过程的贝尔曼最优性

    本文深入探讨了平均奖励鲁棒马尔可夫决策过程(MDP)的理论基础,这是一个复杂的序贯决策领域。研究聚焦于恒定增益设置,以建立一个通用框架,分析鲁棒贝尔曼方程及其与最优平均奖励的联系。研究确定了该方程的解准确表示最优平均奖励和稳态策略的条件,从而推进了在运行环境中的长期平均标准的动态规划理论。

  15. TOOL · CL_323120 ·

    综述梳理了FPGA和IC上的强化学习实现

    本综述考察了100多项关于在现场可编程门阵列(FPGA)和集成电路(IC)上实现强化学习(RL)算法的研究。它根据RL家族、硬件实现策略和应用领域对研究进行分类,重点关注RL算法如何映射到可重构和固定硬件。该综述对FPGA和IC实现进行了统一分析,涵盖了加速、节能控制和系统级优化,并确定了RL驱动硬件系统的关键挑战和未来研究方向。

  16. TOOL · CL_308075 ·

    新研究探讨了约束MDP中Primal-Dual学习的参数共振

    研究人员分析了约束马尔可夫决策过程的Primal-Dual方法,考虑了缓慢非平稳场景。研究表明,在约束水平振荡的加性通道中,对偶振荡会随着时间尺度比线性放大。然而,在约束敏感性振荡的参数通道中,相干调制不会引起共振强迫。相反,不稳定性源于Primal更新所使用的约束估计与对偶更新所使用的测量之间的不匹配,从而导致参数共振。

  17. RESEARCH · CL_303353 ·

    V-SHARE算法为强化学习提供可证明的收敛性

    研究人员推出了一种新颖的基于优势的价值学习算法V-SHARE,用于强化学习,该算法增强了跨动作的信息共享。该方法将动作-价值函数分解为状态依赖值和动作特定优势,解决了当前Q学习方法的局限性。V-SHARE提供了一个全面的理论框架,提供了渐近收敛和有限样本保证,并证明了其缓解稀有动作瓶颈等问题的能力。

  18. TOOL · CL_300838 ·

    新的Q学习算法通过KL正则化实现快速收敛率

    研究人员开发了用于有限时间范围马尔可夫决策过程(MDP)的离线Q学习的新算法,并结合了 Kullback-Leibler (KL) 正则化。所提出的 KL-regularized Q-Learning (KLQ) 算法在没有显式悲观主义的情况下实现了 \(\widetilde{O}(1/\epsilon)\) 的样本复杂度,尽管对正则化参数和时间范围有指数依赖性。随后的 KL-regularized Pessimistic Q-Lea…

  19. TOOL · CL_300676 ·

    新方法将信息嵌入AI策略随机性中

    研究人员引入了一种名为后验匹配随机性调制(PRAM)的新方法,用于在马尔可夫决策过程(MDP)的随机策略的随机动作中嵌入信息。该技术允许通过调整动作实现来隐式地传达信息,而无需改变整体动作分布。PRAM被视为一个信道编码问题,并被证明是渐进可靠的,能够随着状态轨迹的延长以最小的错误进行消息解码。该论文展示了PRAM在多比特策略水印和轨迹溯源等应用中的效用。

  20. TOOL · CL_300623 ·

    新的CauCRL方法通过混淆数据改进目标条件强化学习

    研究人员开发了一种名为因果对比强化学习(CauCRL)的新方法,以解决离线数据混淆的目标条件强化学习中的挑战。CauCRL引入了反事实转换,将观测数据与可能影响结果的未观测变量分离开来。通过从演示中学习悲观的反事实转换,CauCRL在反事实回放上训练Critic,与标准的对比强化学习相比,在混淆的目标达成任务上提高了成功率。