Partially observable Markov decision processes and performance sensitivity analysis
PulseAugur coverage of Partially observable Markov decision processes and performance sensitivity analysis — every cluster mentioning Partially observable Markov decision processes and performance sensitivity analysis across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新算法实现可解码POMDPs的拟多项式时间规划
研究人员为部分可观察马尔可夫决策过程（POMDPs）的规划开发了新算法。这些算法在一种称为$\rho$-可解码POMDPs的POMDPs类别中实现了拟多项式时间的近似规划。研究表明，可解码性是一个统一的假设，它比完全可观察性更弱，并且可以被有效地计算出来，为在复杂环境中进行规划提供了一种实用的方法。
-
新的主动推理方法实现了高效的规划模型学习
研究人员开发了一种新的主动推理参数学习方法，该方法将感知、学习和规划框架化为变分推理。该方法使用带有认知先验和和积消息传递的增强生成模型来最小化熵修正目标。在基于网格的部分可观察马尔可夫决策过程上的实验表明，该方法能够高效地学习模型参数并实现成功的规划，其性能优于标准和积消息传递规划器。
-
新研究详细阐述了POMDP与多环境POMDP之间的复杂性差距
一篇新发表在arXiv上的研究论文探讨了部分可观察马尔可夫决策过程（POMDPs）及其多环境对应体（ME-POMDPs）的计算复杂性。该研究确定了POMDPs的特定子类，即使在单环境情况下是可处理的，扩展到多环境设置时仍保持PSPACE-完全性。研究还确定了多环境盲MDP和确定性POMDPs的NP-完全性，并揭示了在时间依赖策略下某些ME-POMDP问题的实数存在理论（∃R）-完全性。
-
冻结的循环网络为部分可观察强化学习提供了高效基线
一篇新的研究论文探讨了在部分可观察环境中，学习循环网络对于强化学习（RL）的必要性。该研究借鉴了水库计算的原理，提出了一种结合冻结循环网络和可训练输出模块的方法。令人惊讶的是，这种方法在各种任务中表现出具有竞争力的性能，并且比完全可训练的对应方法需要更少的训练参数，这表明学习循环记忆模块对于解决这些复杂的强化学习问题并非总是必不可少的。
-
FLoRa 架构优化了无人机从能量受限的物联网设备收集数据
研究人员开发了 FLoRa，一种使用无人机 (UAV) 从能量受限的 LoRa 物联网设备收集数据的新型架构。FLoRa 采用多层次优化方法，整合了用于路由的模拟退火、用于定位的协方差矩阵自适应进化策略以及用于探测单个节点的局部可观察马尔可夫决策过程。该系统旨在最大化数据新鲜度和收集效用，同时遵守严格的电池限制，其性能优于现有的元启发式、贪婪和深度强化学习方法。
-
新框架增强了机器人在复杂环境中的规划能力
研究人员开发了一个新的在线规划框架，用于在复杂、部分可观察的环境中运行的机器人系统。该方法是 Rao-Blackwellized online POMDP (RB-POMDP) 框架的扩展，它使用混合连续-离散信念表示来更有效地处理高维状态空间。通过在规划过程中分析性地管理被边缘化状态分量的方差，该方法降低了价值估计的方差，从而提高了机器人在搜索与救援等任务中的性能。
-
新框架统一了 POMDP 中的不确定性约简和奖励
研究人员为部分可观察马尔可夫决策过程（POMDP）开发了一个新框架，该框架直接奖励不确定性约简。这种方法被称为最小化预期自由能（EFE），已被证明等同于求解一种特定类型的 POMDP，其中效用是预期的信息增益。在包括 Tiger 问题和 RockSample 在内的各种环境中的实验表明，EFE 规划无需针对特定任务进行调整，即可匹配或超越仅基于奖励的规划，并避免了过度探索问题。这为信息收集有成本的应用（如故障检测和医学筛查）提供了一个…
-
新的PO-PDDL公式化实现了LLM友好的机器人不确定性规划
研究人员开发了PO-PDDL，一种新的符号化部分可观察马尔可夫决策过程（POMDPs）的公式化方法，它在保持PDDL的关系结构的同时，显式地建模了部分可观察性和随机性。该公式化旨在友好于LLM，并可在不同任务中重复使用。提出了一种从机器人执行的视觉演示中学习PO-PDDL模型的流水线，以识别部分可观察性并学习随机模型。在真实世界操作任务上的实验表明，该方法在不确定性下的鲁棒任务规划方面优于现有的PDDL和POMDP学习方法，并降低了规划成本。
-
ReAct 模式增强了 LLM 的推理和行动能力
ReAct 模式是一种用于大型语言模型（LLM）的设计模式，它增强了 LLM 在复杂环境中的推理和行动能力。它使 LLM 能够感知、推理和行动，从而能够从交互中学习并随时间进行适应。该模式基于马尔可夫决策过程（MDP）和部分可观察马尔可夫决策过程（POMDP）等概念，并应用于聊天机器人、虚拟助手、自动驾驶汽车和游戏等领域。
-
POMDP值函数被表征为半代数集
研究人员已将部分可观察马尔可夫决策过程（POMDP）中的可行值函数集表征为半代数集。这扩展了先前关于完全可观察过程的研究，揭示了部分可观察性引入了非线性约束和更复杂的几何结构。这些发现为策略优化提供了新的见解，并突显了POMDP中的独特现象，例如孤立的局部奖励最大化器的可能性。
-
新框架结合采样和模型检测来合成POMDP策略
研究人员开发了一个新的框架，用于合成部分可观察马尔可夫决策过程（POMDP）的策略，POMDP用于不确定性下的决策。该方法结合了可扩展但缺乏正式保证的基于采样的方法，以及提供正确性但难以扩展的形式化综合技术。通过使用采样作为成员预言机和模型检测作为等价预言机，该框架可以合成具有正式保证的有限状态控制器，在安全关键型应用中显示出潜力。
-
新的MCTS分析为POMDP规划提供理论保证
研究人员开发了一种新的有限时间分析方法，用于蒙特卡洛树搜索（MCTS）在部分可观察马尔可夫决策过程（POMDPs）中的应用。这项工作为离散和连续观测空间提供了概率集中界，填补了像POMCP这样的MCTS风格求解器在理论保证方面的空白。所提出的方法Voro-POMCPOW使用Voronoi单元自适应地划分连续观测空间，以维持有限的分支因子，同时提供理论保证。