CartPole-v1
PulseAugur coverage of CartPole-v1 — every cluster mentioning CartPole-v1 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的PPO变体动态调整裁剪以改进强化学习
研究人员推出了一种名为Dual-Adaptive Z-Score PPO (PPO-DAZ3) 的新型Proximal Policy Optimization算法变体，旨在动态调整其裁剪阈值。与使用固定阈值的标准PPO不同，PPO-DAZ3根据动作置信度和归一化优势幅度计算依赖于样本的阈值。在LunarLander-v3、CartPole-v1和Acrobot-v1等经典控制基准上的评估表明，这种自适应方法可以改进学习，尤其是在更具挑…
-
EliteTable算法使用LLM改进用于控制任务的程序搜索
研究人员开发了EliteTable，一种新颖的自改进程序搜索算法，该算法利用大型语言模型（LLM）来提高控制任务的性能。该算法使用固定容量的表来存储高分解决方案，然后指导生成新提案、编辑和现有解决方案的混合。在六个Gymnasium控制任务上的评估表明，所有任务的候选分数都有所提高，大多数任务的选定获胜者分数也有所提高，在CartPole-v1任务上取得了显著成功，在第一代就达到了上限。
-
新的攻击方法针对深度强化学习代理
研究人员开发了一种新的轨迹级对抗攻击方法，旨在针对深度强化学习（DRL）代理。该方法利用环境的可微分模型和温度平滑的代理策略，在递缩视界上优化扰动序列。在各种深度Q网络（DQN）和双重DQN（DDQN）代理的CartPole-v1环境上的实验表明，这种轨迹级攻击在白盒、跨模型和跨算法场景中显著优于标准的每步攻击和随机噪声。
-
多视界一致性影响视频预测几何
研究人员调查了多视界潜在一致性（视频预测和世界模型中的训练参数）对转移几何的影响。他们的研究以Moving-MNIST作为主要测试案例，发现增加该参数lambda可以显著减少预测误差并改善潜在一致性。然而，这种效果受限于特定领域，在Pendulum-v1或CartPole-v1等条件动作任务或KTH Actions视频数据上并未观察到一致的效果。研究结果表明，虽然软一致性可以促使被动视频模型进入收缩状态，但其有效性取决于具体领域。
-
质量守恒促进神经自动机水库中的自组织临界性
研究人员探索了使用质量守恒作为归纳偏置，以促进神经元元胞自动机（NCA）水库中的自组织临界性（SOC）。这种方法涉及一种保持总晶格质量的局部重新分布规则，与标准NCA相比，该方法被发现始终表现出更强的临界性。质量守恒NCA在演化速度上更快，并在顺序记忆、数字分类和时间控制等下游任务上取得了可比的性能，这表明质量守恒是增强临界性而不损害效用的有效机制。
-
质量守恒提升了AI水库的临界性，而性能未受损
研究人员探索了质量守恒作为归纳偏置的概念，以促进神经细胞自动机（NCA）水库中的自组织临界性（SOC）。他们的发现表明，质量守恒的NCA始终表现出更强的临界性，在雪崩分布方面实现了更好的幂律拟合，并且演化速度提高了1.27倍。至关重要的是，这种增强的临界性不会阻碍下游任务的性能，例如顺序记忆、数字分类和时间控制，质量守恒和标准NCA取得了可比的结果。该研究表明，SOC的质量与顺序计算之间存在正相关，这由具有完美临界性的水库所实现的最高…
-
通过丢弃冗余状态转移来稳定PPO训练
研究人员开发了一种通过从同策略（on-policy）的rollout中随机丢弃一部分转移来提高强化学习训练稳定性的方法。该技术应用于Proximal Policy Optimization (PPO)，打破了由因果链式状态引起的重复梯度结构。通过丢弃约25%的转移，该方法在保持奖励性能的同时，在各种指标上产生了更一致的训练动态。