Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning
PulseAugur coverage of Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning — every cluster mentioning Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究探索用于自动驾驶安全与规划的高级AI · 追踪10个来源
arXiv上发表的多篇研究论文探讨了自动驾驶系统的先进技术，重点是改进规划、预测和安全。其中一篇论文介绍了一个分层评估协议，用于评估生成场景模型的物理一致性，揭示了标准指标未显现的局限性。另一篇论文提出了Diffusion-2BC，一种用于离线行为克隆的混合扩散和回归训练方法，可提高闭环性能。此外，对规则对齐扩散规划器（RADP）的研究旨在将驾驶规则直接纳入扩散模型，以提高可解释性和安全性，同时正在开发Meta-多智能体强化学习（me…
-
新研究为扩散模型在强化学习中的优化提供了新视角
研究人员提出了优化扩散模型的新方法，特别是在强化学习的背景下。其中一种方法，在“Freeze, Share, Shrink”论文中详细介绍，提出扩散策略中的动作主干可以在任务之间冻结和共享，适应性由条件通路处理。该方法在 MimicGen 和 LIBERO 上进行了测试，表明一个更小、可重用的轨迹先验可以匹配或超越更大、特定任务主干的性能。另一篇论文“DiffusionOPD”引入了一个用于通过基于策略蒸馏的多任务训练扩散模型的统一框…
-
新AI方法通过实时力控制增强机器人操纵能力
研究人员开发了一种名为“快速轨迹生成增强的扩散策略”（DPA-FTG）的新型模仿学习方法，以应对机器人操纵任务中高频控制的挑战。该方法将低频规划与高频力调节分离，能够实时适应动态交互。DPA-FTG 在双臂电池拆卸任务上进行了测试，与现有的反应式扩散策略（Reactive Diffusion Policy）等方法相比，表现出了优越的性能。
-
新框架 REFINE-DP 增强人形机器人运动操控能力
研究人员开发了 REFINE-DP，一个旨在增强人形机器人在运动操控任务中能力的新型分层框架。该方法通过使用基于 PPO 的梯度微调扩散策略（DP）运动规划器，并将扩散策略（DP）与强化学习（RL）相结合。同时，更新基于 RL 的控制器以精确跟踪规划器的指令，从而减少分布不匹配。该系统在模拟中，即使在分布外场景下，在开门和搬运物体等任务中也展示了超过 90% 的成功率，并且已成功在真实人形机器人上执行。
-
新方法提升扩散策略训练和推理速度
研究人员开发了新方法来提高扩散策略（一种因其在决策任务中的应用而日益普及的AI模型）的效率和稳定性。一种名为DIPOLE的方法引入了一种新颖的强化学习算法，该算法将策略分解为最大化奖励和最小化奖励的组成部分，从而实现稳定的训练和可控的动作生成。另一种名为Evolving Cache Schedules (EVO) 的方法则利用进化搜索来优化推理过程中的缓存重用，在不重新训练扩散策略的情况下显著加快动作生成速度并降低计算成本。
-
新的机器人学习策略将像素位置视为离散动作类别
研究人员推出了一种新颖的机器人学习方法——Action Map Policy (AMP)，该方法将3D闭环操作视为一个图像空间分类问题。该方法将3D动作投影到相机图像平面上，将每个像素视为一个离散类别，以管理维度并保留多模态。AMP在没有过大词汇量的情况下实现了高维动作的毫米级精度，推理速度比扩散策略更快，并在实验中展示了卓越的成功率和空间推理能力。
-
新的QPILOTS方法增强了扩散策略的强化学习
研究人员推出了一种新颖的方法QPILOTS，旨在提高流匹配和扩散策略的强化学习（RL）效率。该技术通过将中间动作投影到最终干净动作的估计值上来引导推理时的去噪过程，从而避免了直接梯度反向传播相关的数值不稳定性。QPILOTS提供了两种变体：QPILOTS-U和QPILOTS-M，并在离线到在线RL基准测试中展示了卓越的性能，在50个任务中实现了90%的成功率。该方法还成功应用于一个大型、预训练的视觉-语言动作（VLA）基础模型，其性能…
-
自回归策略在VLA模型中实现实时执行
一篇新的研究论文介绍了一种在视觉-语言-动作（VLA）模型的自回归策略中实现实时执行的方法。该方法通过调整标记化范围和采用约束解码来保证严格的延迟界限。这使得多轨迹解码成为可能，从而提高了任务完成速度，并在模拟和现实世界环境中均优于等效的流匹配策略。
-
机器人研究在操作、AI、安全和泛化方面取得进展
研究人员正在开发先进的机器人操作方法，重点是提高泛化性、安全性和效率。BiCICLe 等新框架利用上下文学习来执行双臂任务，而 Ambient Diffusion Policy 和 GHOST 则增强了从次优或多样化数据中进行模仿学习的能力。其他方法，如 WorldDP 和 Latent Diffusion Policy，则使用分层结构和世界模型来处理复杂的多阶段任务。此外，PACT 和一项关于安全具身AI的调查，解决了机器人系统在物…
-
新研究推进机器人和LLM的策略优化
研究人员引入了几种新方法来增强强化学习中的策略优化，特别是针对涉及机器人和大型语言模型（LLM）的复杂任务。MODIP旨在通过使用世界模型来指导适应，从而高效地微调机器人学习中的扩散策略，与标准的模仿学习相比，提高了稳定性和性能。N-GRPO和T2-GRPO分别侧重于通过采用新颖的嵌入层混合和多视域奖励策略来改进LLM在数学推理和护理代理等任务中的探索和奖励分配。此外，CATPO和GenPO++通过改进基于树的方法和生成策略来提高训练…