DynDiff-GRPO

新的强化学习框架“奖励作为代理”解决了探索限制

研究人员提出了一种新颖的方法来增强具身世界模型的强化学习（RL），以解决探索和奖励欺骗的局限性。所提出的“奖励作为代理”方法利用代理奖励框架来主动评估生成的行为，提供强大的信号并减轻奖励欺骗。这与“通过DynDiff-GRPO实现的动态感知回滚多样化”相结合，以扩展动作空间探索，从而产生更多样化的轨迹和更丰富的具身行为。这种统一的方法在多个开源世界模型中展示了显著的准确性提升，证明了在可靠的验证基础上，更广泛的探索可以有效地扩展。