OGBench
PulseAugur coverage of OGBench — every cluster mentioning OGBench across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的TD-Aug方法通过生成合成目标来增强机器人策略的泛化能力
研究人员引入了TD-Aug，一种旨在通过生成合成经验来增强机器人策略泛化能力的新方法。该技术利用几何视界模型来设想新颖的输出，使策略能够为组合泛化而组合现有知识。当应用于基于缝合的OGBench任务时，TD-Aug显著提高了目标条件行为克隆策略的泛化能力。
-
LASER算法通过潜在空间控制增强离线强化学习
研究人员推出了一种新的离线强化学习算法LASER，旨在从静态数据集中改进策略优化。LASER通过在通过流匹配学习的潜在空间内约束策略来解决分布外动作的挑战。该算法包含熵正则化，以防止策略崩溃和利用Critic的伪影，在40个OGBench任务上取得了最先进的性能。LASER在具有固定超参数的情况下，在各种数据集质量上都表现出鲁棒的应用性，其性能优于需要针对特定任务进行调整的基线。
-
新研究探索更高阶的动作监督和动作塑造以实现鲁棒的强化学习策略
两篇新的arXiv论文探讨了强化学习（RL）和模仿学习（IL）中的高级技术，以提高策略的鲁棒性和控制能力。第一篇论文介绍了一种更高阶的动作监督方法，该方法通过考虑时间一致性以及直接的动作标签来增强策略，在OGBench和D4RL基准测试中取得了显著的改进。第二篇论文提出了“动作塑造”，这是一种允许策略在训练期间吸收然后丢弃动作偏移的技术，确保最优策略在部署时保持不变，并为性能提供诊断。
-
新的Q学习方法SQAM提高了复杂强化学习任务的性能
研究人员开发了一种名为标量伴随匹配（SQAM）的强化学习新技术。该方法通过引入闭式标量伴随，解决了微调流策略的挑战，与传统的伴随匹配相比，显著降低了计算成本。SQAM在困难的OGBench领域表现出显著的改进，比现有基线高出18至35个百分点。该技术还成功应用于真实机器人上微调大型视觉-语言-动作策略，显示出优于监督微调的收益。
-
新的ReQRL方法增强了OGBench上以目标为条件的强化学习
研究人员开发了ReQRL，一种以目标为条件的强化学习（GCRL）的新方法，该方法将目标达成成本建模为准度量距离。该方法使用有限时间范围的可达性来约束Critic的值梯度，有效地将动态可达性与边界几何解耦。在OGBench数据集上，ReQRL与现有的准度量和离线GCRL方法相比，表现具有竞争力或更优。
-
研究发现，目标表征质量对GCRL性能影响甚微
一篇新研究论文调查了目标表征对目标条件强化学习（GCRL）的影响。研究发现，在确定性迷宫导航任务中，目标表征的质量对下游性能影响甚微。相反，代理的当前状态表征被确定为主要瓶颈。研究表明，改进状态表征，例如通过随机傅里叶位置编码，可以带来显著的性能提升。
-
扩散模型通过新架构和训练方法取得进展 · 跟踪了10个来源
研究人员正在探索各种领域的先进扩散模型，包括Apple的三模态（文本、图像和音频）生成，以及使用扩散模型对无数据格点场理论进行训练。PixelMoE将混合专家模型引入像素空间扩散，以实现高效扩展，而Bridge Matching Sampler提供了从非归一化密度进行可扩展和稳定的采样。新的基于Transformer的方法使扩散模型能够进行上下文学习，以适应未见过的分布，并且-Flow将扩散和基于流的模型泛化到逆问题。此外，Cach…
-
ReBRAC-v2通过简化、高性能方法推进离线强化学习
研究人员推出了ReBRAC-v2，这是一种更新的离线强化学习方法，它在保持算法简洁性的同时，实现了传统Actor-Critic方法的现代化。新方法使用Actor的精确似然归一化流，结合了似然、MSE和MAE行为正则化的混合体，并采用基于分类的残差Critic，具有分阶段优化和多样本动作选择功能。ReBRAC-v2的单一配置，仅通过两个行为正则化系数进行调整，在六项具有挑战性的OGBench任务上实现了最先进的聚合性能，显著优于先前的方…
-
研究论文批评AI策略搜索中的对比批评者
一篇题为“Good Rankers, Bad Objectives: Bilinear Contrastive Critics under Expressive Policy Search”的新研究论文探讨了AI策略搜索中对比批评者的局限性。该论文表明，虽然好的动作排名不能保证安全性，但无界的双线性分数会膨胀非支持值。研究表明，余弦边界不能解决这个问题，分解将遗憾归因于范数漂移。研究发现，在多个OGBench导航任务中，对比批评者在最…
-
新HiQC算法增强了长时序任务的离线强化学习能力
研究人员推出了一种名为HiQC（Hierarchical Implicit Q-Chunking）的新型算法，旨在改进用于长时序任务的离线目标条件强化学习。HiQC通过结合高层潜在规划和低层动作分块来解决“时序诅咒”问题，从而实现更准确的价值估计。该方法在理论上展示了更紧密的价值误差界限，并在OGBench套件上取得了实证上的最佳性能，尤其在人形巨型机器人等复杂导航任务中表现出色。
-
新方法提升扩散策略训练和推理速度
研究人员开发了新方法来提高扩散策略（一种因其在决策任务中的应用而日益普及的AI模型）的效率和稳定性。一种名为DIPOLE的方法引入了一种新颖的强化学习算法，该算法将策略分解为最大化奖励和最小化奖励的组成部分，从而实现稳定的训练和可控的动作生成。另一种名为Evolving Cache Schedules (EVO) 的方法则利用进化搜索来优化推理过程中的缓存重用，在不重新训练扩散策略的情况下显著加快动作生成速度并降低计算成本。
-
新DAGR方法改进强化学习中的目标表示
研究人员推出了一种新方法DAGR，用于强化学习中的状态条件目标表示。DAGR通过多尺度门控交叉注意力将当前状态纳入其中，从而改进现有的目标嵌入。虽然DAGR在OGBench的导航任务中表现出改进，但其在操作和解谜任务上的表现与基础方法相当或更低，表明它是一种结构化改进而非普遍增强。
-
MoP-JEPA 引入硬分配预测器以改进随机世界模型
研究人员引入了 MoP-JEPA，一种用于随机 JEPA 世界模型的新方法，该方法解决了在具有分支转换的环境中预测后继状态的局限性。与可能输出状态之间点的传统 JEPA 模型不同，MoP-JEPA 利用硬分配预测器创建转换分布的量化器，每个预测器头对应一个不同的后继模式。该方法在 OGBench 离线数据上显著提高了规划性能，成功率最高可达 0.85，而单预测器模型的成功率仅为 0.02-0.09。该系统还包含一个验证协议，以确保其预…
-
新方法使用双重优势场增强离线强化学习
研究人员推出了一种新颖的离线目标条件强化学习方法——双重优势场（DAF）。DAF通过学习一个预测状态变化的动作效应模型，将双重价值模型转化为局部优势信号。该方法根据动作与目标方向的一致性对其进行评分，从而有效地计算目标条件贝尔曼优势。在OGBench运动、操控和谜题任务上的实验表明，DAF能够提高性能，尤其是在最优动作偏离直接目标寻求的场景中。
-
新的拉普拉斯表示增强了强化学习规划
研究人员为决策时规划（ALPS）引入了拉普拉斯表示，这是一种专为基于模型的强化学习设计的新型分层规划算法。ALPS 利用拉普拉斯表示来捕捉多个时间尺度的状态空间距离，有效地将长时域问题分解为子目标并减少累积误差。该算法在 OGBench 基准测试的离线目标条件强化学习任务上表现出色，优于先前占主导地位的无模型方法。
-
新的OgBench框架在组学数据上评估GNN
研究人员推出OgBench，一个专门用于评估组学数据的图神经网络（GNN）的新框架。这类生物数据存在一个独特的挑战，即样本数量远小于节点数量，这种情况是标准GNN通常难以应对的。OgBench旨在通过提供标准化的基准测试平台和开源基础设施，促进更适合这些低样本、高节点生物图的GNN架构的开发。
-
新研究探讨Q学习稳定性和离线RL方法
两篇新研究论文探讨了强化学习技术的进展。一篇论文介绍了漂移Q学习（Drift Q-Learning），该方法结合了基于漂移的行为正则化器和由Critic驱动的策略改进，以提高离线强化学习任务的性能和稳定性。另一篇论文对线性Q学习中的周期性和软性目标更新进行了理论分析，证明了这些机制在特定条件下可以保证收敛。
-
新算法CARL增强分层强化学习中的技能可复用性
研究人员开发了一种名为CARL（对比动作表示用于可复用局部控制）的新算法，以提高分层强化学习（HRL）中技能的可复用性。CARL利用局部动力学的规律性，表明在不同的全局环境中，相似的动作序列对于状态转移是必需的。通过将这些环境与其所需的动作序列对齐，该算法学习在哪里以及复用哪些技能，可能使各种HRL算法受益。该方法在复杂环境中展示了定性的技能聚类，并在与HIQL集成后，在OGBench基准测试中提高了性能。
-
新TRQAM算法稳定离线强化学习
一篇新论文介绍了一种名为Trust Region Q-Adjoint Matching (TRQAM)的算法，该算法旨在稳定预训练流策略的离线强化学习。TRQAM通过自适应地控制路径空间KL散度，解决了先前Q-learning with Adjoint Matching (QAM)方法中固有的不稳定性与模型崩溃问题。在50个OGBench任务上的实验表明，TRQAM显著优于现有方法，在离线RL中的成功率达到68%，而基线为46%。
-
新的TRQAM算法稳定离策略强化学习
研究人员开发了信任区域Q-伴随匹配（TRQAM），这是一种旨在稳定离策略强化学习的新型算法。TRQAM通过使用投影对偶下降自适应地控制策略的KL散度来解决不稳定性问题。在50个OGBench任务上的实验表明，TRQAM表现优越，在离线RL中的成功率为68%，而基线方法的成功率为46%。