MoMa QL

新MoMa QL框架通过矩匹配提高RL效率

研究人员推出了一种名为矩匹配Q学习（Moment Matching Q-Learning, MoMa QL）的新型框架，旨在解决强化学习中基于分数和基于流的生成模型中的推理延迟问题。MoMa QL采用最大均值差异（MMD）来对齐分布之间的所有统计矩，确保条件分数函数的稳定收敛。在实践中，该方法在D4RL任务上表现出相当或更好的性能，并且由于加速了动作采样，在离线到在线RL场景中具有更优越的适应性。