Offline Reinforcement Learning
PulseAugur coverage of Offline Reinforcement Learning — every cluster mentioning Offline Reinforcement Learning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的基准测试 AndroidFlux 评估移动 AI 代理的错误恢复能力
研究人员推出了一款名为 AndroidFlux 的新基准测试,旨在评估移动多模态代理的故障恢复能力。与专注于从干净状态开始的任务成功率的传统评估不同,AndroidFlux 专门测试代理从中间错误和意外状态中恢复的能力。该基准测试建立在 AndroidWorld 之上,将记录的轨迹恢复到受控的检查点,从而可以从相同的设备状态一致地测试不同的代理。一个补充的奖励建模基准测试根据下游结果评估恢复操作的偏好,并且还发布了一个离线强化学习数据…
-
强化学习在城市出行、风险管理和数据采集方面的进展 · 跟踪 4 个来源
研究人员正在探索强化学习(RL)在各个领域的创新应用。一项研究提出使用 RL 为驾驶员动态分配激励措施,鼓励其重新规划路线,旨在减少城市出行的旅行时间和排放,模拟显示效果显著。另一篇论文则专注于灾难性风险管理的深度强化学习,开发了一种可微分的尾部风险目标函数,用于高维策略,在极端市场情景下表现良好。此外,一个名为“Ask to Learn”的新框架研究了基于查询的协作强化学习,旨在通过从协作者那里高效获取信息来克服离线 RL 中的数据限制。
-
新的强化学习方法提升AI效率和性能
研究人员正在开发先进的强化学习技术,以提高复杂AI任务的效率和性能。GDEPO通过动态采样和优势估计来优化样本效率并减少数据浪费,从而增强了自动定理证明。同时,其他方法如Provable Transformer Context Compression和MeanFlow2Better分别侧重于降低Transformer的内存成本和提高策略表达能力,以及离线强化学习。Flow Policy Gradients和MIPS旨在增强机器人控制并…
-
新研究推动具身AI世界模型发展,聚焦机器人行为与部署
研究人员正在探索具身智能的进展,重点关注连接机器人感知和决策的“世界模型”。论文讨论了从“合理”到“可操作”对这些模型进行分类的框架,强调它们在改善机器人行为和任务执行方面的作用。FluxVLA Engine等平台和Pelican-Sim 1.0等模拟器正在开发中,以简化这些复杂系统的工程和部署,解决数据集成、训练和实际应用中的挑战。
-
新的RL策略将芯片布线中的设计规则违规减少92%
研究人员开发了一种具有历史感知的离线强化学习策略,以解决物理设计中的布线瓶颈,特别是针对复杂、密集布局。该新策略采用轻量级LSTM架构和附加特征来保留序列上下文,从而提高了各种密度和引导质量下的布线收敛性。当集成到现有路由器中时,它可将设计规则违规平均减少92%,并将运行时间缩短10%。
-
研究发现:卒中治疗中的离线RL因混淆因素而被夸大
一篇新研究论文发表在arXiv上,并由Hugging Face重点介绍,该论文批判性地评估了用于卒中治疗的离线强化学习(RL)方法。研究发现,像Fitted Q-Evaluation (FQE) 这样的标准评估技术可能具有误导性,因为奖励中嵌入了混淆因素,奖励无意中编码了患者的预后。在考虑了这一混淆因素后,归因于RL策略的明显改进显著减少,这表明该医学领域中当前的RL应用可能无法提供比医生决策更有临床意义的益处。
-
贝叶斯流网络统一离散和连续离线强化学习
研究人员引入了贝叶斯流网络(BFNs)作为离线强化学习(RL)和轨迹规划的统一框架。这种新方法称为BFN-RL,可以原生处理离散和连续状态空间,而之前的许多方法需要单独的公式。BFN-RL通过迭代演化分布参数来生成未来的状态序列,然后通过学习到的逆动力学模型将这些序列转换为动作。评估表明,它在离散规划和连续控制任务中都有效,将BFNs确立为跨各种数据模态的轨迹规划的通用生成基础。
-
新的Delta框架可检测深度强化学习智能体的安全性和最优性错误
研究人员开发了一个名为Delta的新框架,用于识别深度强化学习(DRL)智能体的安全性和最优性错误。该框架采用两阶段方法:首先,它评估智能体的关键故障并收集数据,然后通过离线强化学习使用这些数据训练一个挑战者智能体。通过将挑战者智能体的性能与原始智能体进行比较,Delta可以精确定位原始智能体次优的实例。在五个环境中的实验表明,Delta平均发现了2,518个最优性问题,显著优于现有方法。
-
人工智能利用强化学习发现高质量国际象棋谜题
研究人员开发了一种使用离线强化学习的方法,从包含15亿个解谜历史的大型数据集中发现高质量的国际象棋谜题。该方法旨在提高自动生成谜题的教学价值,因为这些谜题通常被认为不如人类专家精心挑选的谜题有效。该系统被证明能显著帮助初学者国际象棋玩家,特别是那些学习进展停滞不进的玩家,并通过专家玩家的定性分析得到验证。
-
视觉语言模型用于标注视频游戏数据以训练人工智能代理 · 跟踪 2 个来源
研究人员正在探索使用视觉语言模型(VLMs)来标注视频游戏数据,以训练人工智能代理。第一篇论文研究了 VLMs 从游戏序列生成奖励信号的能力,指出了 VLM 输出不一致和输入参数影响等挑战。第二篇论文在此基础上,展示了如何使用 VLM 标注的数据集进行离线强化学习,以训练响应特定奖励的条件化代理。
-
新方法CSDG增强离线强化学习
研究人员推出了一种用于离线强化学习的新方法——凸包邻域平滑对偶泛化(CSDG)。CSDG通过显式地将样本内价值目标与泛化贡献分离开来,解决了分布外动作中估计误差放大的问题。该方法采用一种带有扰动半径和平滑系数的平滑技术来控制泛化目标的权重。在Gym-MuJoCo和AntMaze基准测试上的实验表明,CSDG表现出色且价值估计稳定。
-
研究论文质疑离线强化学习在治疗推荐中的稳健性
一篇新发表在arXiv上的研究论文,探讨了长时限马尔可夫决策过程(Markov decision processes)中协变量平衡性诊断的有效性,特别是在治疗推荐的离线强化学习(offline reinforcement learning)背景下。研究表明,当前的离线强化学习研究可能存在很高的偏倚风险,或者现有的平衡性指标不足以进行稳健的评估。作者建议进一步研究,以在该领域开发更具方法学严谨性的离线强化学习应用。
-
新的FORE方法改进了离线强化学习评估
研究人员引入了拟合占用率评估(FORE),一种用于离线强化学习中估计占用率的新颖方法。该技术通过伴随贝尔曼递归来表征折扣占用率,并在每次迭代中解决密度比目标。FORE的关键创新在于其简化的近似条件,仅需要折扣占用率本身的实现性,而不是像贝尔曼完备性那样更复杂的条件。这种方法能够直接进行价值估计和双重鲁棒估计,为离线策略评估提供了更鲁棒的方法。
-
AI研究探索强化学习和自然语言处理中的结构泛化 · 跟踪2个来源
两篇新研究论文探讨了AI模型泛化的不同方面。第一篇论文聚焦于离线强化学习,认为数据集中悲观主义的结构比数据量本身对泛化更为关键。它提出,通过一致性损失应用数据增强,可以通过强制执行对称价值函数来改善泛化。第二篇论文研究了自然语言处理中的结构泛化,提出了一种编码方向性的新解析器。该解析器使用BERT-base编码器,在特定的方向性任务上优于先前最先进的模型,表明整合方向性信息是某些类型语言泛化的关键。
-
新数据集Insulin4RL支持不规则临床数据的离线强化学习
研究人员推出Insulin4RL,一个专为医疗保健领域离线强化学习设计的新数据集。该数据集源自MIMIC-IV,包含来自12,209名需要胰岛素输注滴定调整的重症监护室患者的超过375,000个决策。与使用固定时间间隔的先前数据集不同,Insulin4RL具有自然不规则的输入和动作,旨在提高回顾性模型评估的泛化能力。研究人员为未来的研究提供了基线性能指标和标准化的评估协议。
-
新框架使用反事实流优化离线强化学习轨迹
研究人员引入了一个名为反事实输运流(counterfactual transport flows)的离线强化学习新框架。该方法旨在仅使用记录的历史数据来改进决策策略,而不会超出可用信息的范围。该方法通过在潜在空间中寻找具有更高反馈的相似轨迹来构建局部偏好对,然后指导一个保守的优化过程。这使得在保持原始行为和应用更强改进之间进行可控的权衡,并在 D4RL 基准测试上得到了验证。
-
新的基准测试标准了核聚变等离子体控制的离线强化学习
研究人员推出了RL4F,这是一个旨在标准化核聚变等离子体控制中离线强化学习评估的新基准测试。该基准测试利用DIII-D托卡马克的历史数据创建了真实的控制任务,解决了在线实验成本高昂且风险大的挑战。研究发现,离线基于模型的强化学习方法总体表现最佳,但没有一种方法在所有任务中都表现出色,这强调了在复杂的聚变控制场景中进行有效动力学建模的必要性。代码库、数据集和评估框架已发布,以鼓励在聚变控制和离线强化学习算法开发领域进行进一步研究。
-
新的TrojanTO攻击针对强化学习中的轨迹优化模型
研究人员开发了TrojanTO,这是一种针对离线强化学习中使用的轨迹优化(TO)模型执行动作级后门攻击的新颖方法。与之前的奖励操纵攻击不同,TrojanTO针对TO模型的序列建模特性,并解决了高维动作空间带来的挑战。该攻击通过交替训练增强触发器-动作连接,并通过轨迹过滤进行精确投毒以实现隐蔽性,在低投毒预算下实现了有效性。
-
新的自举法增强了离线强化学习分析
研究人员开发了一种新的基于模型的受控马尔可夫链自举法,特别适用于数据生成策略未知的离线强化学习场景。该技术为转移估计器建立了分布一致性,并扩展到策略评估和恢复,为价值函数和Q函数提供渐近有效的置信区间。在RiverSwim问题上的实验结果表明,与现有方法相比,所提出的置信区间在有限数据下提供了更好的校准和覆盖率。
-
新的ME-AM框架通过熵最大化增强离线强化学习
研究人员引入了最大熵伴随匹配(ME-AM),一个旨在改进离线强化学习的新框架。该方法通过结合熵最大化和混合行为先验,解决了现有方法中的局限性,如流行度偏差和支持绑定。ME-AM旨在使智能体能够更有效地从离线数据集中学习最优策略,即使在低密度区域也能学习,并探索分布外区域以获得更高奖励。