Offline RL
PulseAugur coverage of Offline RL — every cluster mentioning Offline RL across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法使用学习到的对偶上升法解决离线强化学习问题
研究人员开发了一种解决提升贝尔曼线性规划（LBLP）问题的新方法，这是一种用于离线强化学习的技术。这种称为AL-LBLP的方法利用乘子法通过对偶上升法学习惩罚系数，无需目标网络和固定系数。AL-LBLP方法在各种基准测试中表现强劲，在OGBench任务以及humanoidmaze-giant和antmaze-giant等长时域任务上取得了高成功率，同时还显示出对大批量大小的鲁棒性。
-
LASER算法通过潜在空间控制增强离线强化学习
研究人员推出了一种新的离线强化学习算法LASER，旨在从静态数据集中改进策略优化。LASER通过在通过流匹配学习的潜在空间内约束策略来解决分布外动作的挑战。该算法包含熵正则化，以防止策略崩溃和利用Critic的伪影，在40个OGBench任务上取得了最先进的性能。LASER在具有固定超参数的情况下，在各种数据集质量上都表现出鲁棒的应用性，其性能优于需要针对特定任务进行调整的基线。
-
新的PORL方法结合了在线和离线强化学习用于车间调度
研究人员推出了一种新颖的车间调度问题（JSSP）方法PORL，该方法结合了在线强化学习预训练和离线微调。这种混合方法利用基于仿真的交互来探索通用的调度策略，然后使用历史生产数据来调整这些策略。PORL的一个关键特性是其基于KL散度的策略约束，它限制了微调过程中的偏差，以保持预训练策略的优势。评估表明，PORL在处理分布变化和低质量数据集时，始终优于独立的离线强化学习和其他通用调度基线。
-
使用离线强化学习构建“下一种最佳行动”系统
本文详细介绍了使用离线强化学习（RL）构建“下一种最佳行动”（NBA）系统的过程。作者构建了一个模拟器来模拟音乐流媒体场景下的用户参与度，定义了状态、行动和转移概率。目标是确定重新吸引用户的最佳行动，并解决了跨不同沟通渠道的奖励定义挑战。
-
新HiQC算法增强了长时序任务的离线强化学习能力
研究人员推出了一种名为HiQC（Hierarchical Implicit Q-Chunking）的新型算法，旨在改进用于长时序任务的离线目标条件强化学习。HiQC通过结合高层潜在规划和低层动作分块来解决“时序诅咒”问题，从而实现更准确的价值估计。该方法在理论上展示了更紧密的价值误差界限，并在OGBench套件上取得了实证上的最佳性能，尤其在人形巨型机器人等复杂导航任务中表现出色。
-
新框架通过不确定性估计增强离线强化学习
研究人员开发了一个名为“不确定性估计下的保守查询和自适应正则化”（CQR-UE）的新框架，以改进离线强化学习。该方法解决了在训练过程中选择信息性偏好查询和有效利用专家反馈的挑战。CQR-UE 利用 Morse 网络估计相对于离线数据集的策略动作不确定性，从而实现保守的查询策略，保持 Bellman 更新的稳定性。它还包含一个自适应正则化方案，在策略优化期间动态调整约束，在 D4RL 基准测试上表现出优越或具有竞争力的性能。
-
新的ROMI方法推动离线强化学习发展，超越先前模型
研究人员推出ROMI，一种用于基于模型的离线强化学习的新方法，解决了对抗模型学习中的关键挑战。与RAMBO等先前方法不同，RAMBO因模型梯度而在控制保守性和训练稳定性方面遇到困难，ROMI采用了一个鲁棒的、感知价值的学习框架。该框架使用隐式可微的自适应加权机制来平衡价值保守性和分布外泛化。在D4RL和NeoRL基准上的实验表明，ROMI显著优于RAMBO，并能媲美或超越最先进的无模型和惩罚模型方法。
-
新研究推进机器人和LLM的策略优化
研究人员引入了几种新方法来增强强化学习中的策略优化，特别是针对涉及机器人和大型语言模型（LLM）的复杂任务。MODIP旨在通过使用世界模型来指导适应，从而高效地微调机器人学习中的扩散策略，与标准的模仿学习相比，提高了稳定性和性能。N-GRPO和T2-GRPO分别侧重于通过采用新颖的嵌入层混合和多视域奖励策略来改进LLM在数学推理和护理代理等任务中的探索和奖励分配。此外，CATPO和GenPO++通过改进基于树的方法和生成策略来提高训练…
-
研究发现，在日志上进行离线强化学习训练可能具有欺骗性
使用生产日志训练AI模型可能具有误导性，正如最近对离线强化学习（RL）的探索所揭示的那样。研究发现，仅依赖日志数据可能会导致模型在表面上表现良好，但在实际应用中却失败。这凸显了除了简单的奖励信号之外，还需要更强大的评估指标来确保模型的可靠性。