imitation learning
PulseAugur coverage of imitation learning — every cluster mentioning imitation learning across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
新研究推动AI对齐和模仿学习中的样本效率
研究人员开发了新的方法来改进人工智能代理与人类价值观的对齐。一种方法是反馈操纵正则化（FMR），它利用评估反馈作为模仿学习中的纠正信号来增强策略对齐，在适应性安全体育馆环境中显著减少了不对齐现象。另一项研究为离策略对抗模仿学习（AIL）算法提供了理论保证，表明重用近期策略的样本可以在不影响收敛的情况下提高样本效率，为更具数据效率的AIL提供了理论基础。
-
新的SILO框架增强了机器人布线任务的仿真到现实迁移能力
研究人员开发了一种新颖的模拟回路中的仿真 (SILO) 强化学习框架，用于多阶段布线任务。该方法利用GPU并行仿真来近似线性可变形行为，使策略能够泛化到各种电缆几何形状和变形模式。SILO框架结合了局部强化学习策略和鲁棒的电缆状态估计，以弥合仿真到现实的差距，在真实世界任务中与先前最先进的方法相比，成功率更高，周期时间缩短了一半。
-
SIEVE方法通过结构感知数据选择增强VLA模仿学习
研究人员推出了一种用于视觉-语言-动作（VLA）模仿学习中的数据选择新方法SIEVE。SIEVE识别机器人演示数据集中的可重用视觉-运动基元和过渡接口，以提高策略学习的效率。实验表明，SIEVE在仅使用显著更少的数据和训练步数的情况下，即可达到与全数据训练相当或更优的性能。
-
新研究详细介绍了逆动力学模型在模仿学习中的样本效率
一篇新的研究论文探讨了逆动力学模型（IDMs）在半监督模仿学习中的样本效率。研究表明，在一种称为基于IDM策略的极限情况下，VM-IDM和IDM标注方法学习到了相同的策略。研究人员将基于IDM策略的优越样本效率归因于其比专家策略更低的复杂度假设类和更低的随机性，这得到了统计学习理论以及在Procgen和LIBERO等基准测试上的实验支持。该论文还介绍了一种改进的用于潜在动作策略学习的LAPO算法。
-
WorldSample框架通过合成数据提升真实机器人强化学习
研究人员开发了WorldSample，一个旨在改进真实世界机器人强化学习（RL）的框架。该系统在物理机器人交互与生成的世界模型之间创建了一个闭环，能够生成高保真合成数据。通过使用策略调步学习（Policy-Paced Learning），WorldSample调节训练过程，以平衡有用增强与潜在的高估和噪声，从而显著减少训练步骤并提高机器人操作任务中的策略成功率。
-
强化学习优化风电场数据中心能源使用
本文探讨了使用强化学习（RL）优化与风电场相结合的数据中心运营。研究人员开发了一个模拟框架，用于测试RL代理进行工作负载转移，目标是在考虑削减的情况下最大限度地利用风能。研究发现，尽管像Proximal Policy Optimization（PPO）和Soft Actor-Critic（SAC）这样的RL代理表现强劲，但由于其在线决策的局限性，它们仍落后于离线优化器。论文还评估了模仿学习和奖励塑形作为提高RL性能的方法。
-
新型ACT-JEPA架构增强AI策略表示学习
研究人员开发了ACT-JEPA，这是一种结合了模仿学习（IL）和自监督学习（SSL）的新型架构，以改进策略表示学习。该方法进行端到端训练，以预测动作序列和潜在观测序列，利用联合嵌入预测架构（Joint-Embedding Predictive Architecture）过滤不相关细节并构建强大的世界模型。评估表明，ACT-JEPA的表现优于现有基线，在世界模型理解方面提高了40%，任务成功率提高了10%。
-
新的强化学习框架使用语言进行自适应指导；调查涵盖大语言模型蒸馏技术 · 跟踪 2 个来源
研究人员推出了一种名为“带语言指令的分层强化学习”（HRLLI）的新型框架，该框架通过在决策过程中动态选择相关的自然语言指导来提高强化学习的效率。这种被称为“选择即行动”（Select-to-Act）的方法将指令分解为特定阶段的元素，使高层策略能够指导低层策略进行自适应动作选择。在RTFM基准上的实验表明，HRLLI优于现有的指令条件强化学习基线。此外，一项调查回顾了大语言模型的“同策略蒸馏”（OPD）技术，解决了将前沿能力转移到更小…
-
新的R2BC方法支持单人训练多机器人系统
研究人员开发了轮流行为克隆（R2BC），一种使用顺序单智能体演示来训练多机器人系统的新颖方法。该方法允许单个操作员通过一次遥操作一个机器人来教授复杂的多智能体行为，而无需同步的多智能体演示。R2BC在模拟中表现出与传统行为克隆方法相当或更优的性能，并已成功部署到物理机器人上。
-
麻省理工学院学生因人工智能研究获得赫兹奖学金
四名与麻省理工学院有关联的个人因其在人工智能研究方面做出的重大贡献而获得了享有盛誉的赫兹奖学金。他们的工作涵盖预测模型和模仿学习等领域，这凸显了麻省理工学院学生因在人工智能领域取得的进步而获得此项认可的日益增长的趋势。
-
机器人方法使用强化学习处理缺失的传感器数据
研究人员开发了RL4IL，一种新颖的强化学习方法，旨在增强机器人领域的多模态模仿学习，特别是在传感器数据缺失的情况下。该方法利用强化学习从训练库中识别和检索最相关的专家演示。然后，一种软融合技术聚合来自这些选定演示的操作信号，使机器人即使在某些模态不可用时也能预测适当的操作，而无需重新训练系统。
-
新AI策略通过人类偏好学习增强人行道导航
研究人员开发了FlowPilot，这是一种仅使用单目RGB摄像头进行自主人行道导航的新型导航策略。该系统通过在大型机器人车队数据上使用锚定流匹配进行预训练，并采用人为干预的偏好学习方案来增强反事实推理和社会合规性，从而解决了传统模仿学习的局限性。FlowPilot在模拟和真实环境中都取得了显著成功，提高了路线完成率并降低了干预率。
-
人工智能研究聚焦模型学习中的不完美反馈
人工智能研究人员现在优先研究预测模型中的不完美反馈。这种关注点对于模仿学习和赌博机问题等领域尤其重要，在这些领域，模型必须从不完整或嘈杂的数据中学习。目前的工作旨在提高人工智能系统在理解和利用次优信息方面的能力。
-
AI模仿学习指标未能检测到关键错误
研究人员开发了一个受控测试平台来评估模仿学习策展指标，发现仅动作评分方法未能检测到演示数据中的关键结构性错误。这些错误，即演示在关键时刻执行了错误的动作，是许多指标无法察觉的，甚至可能导致策略性能下降。只有分析状态轨迹的指标才在识别这些结构性缺陷方面显示出潜力，尽管它们仍只能恢复一小部分性能损失。
-
行为克隆近似机械臂的 MPC
研究人员探索了使用行为克隆来创建模型预测控制 (MPC) 策略的计算高效近似值，用于机械臂。该研究聚焦于一个 3 自由度机械臂，评估了各种神经网络架构以在保持性能的同时降低延迟。结果显示，推理延迟降低了 3 倍，成功率为 84.98%，尽管在严格的容差下仍然存在精度差距。
-
HOIST 方法增强人形机器人负载操作能力
研究人员开发了一种名为 HOIST 的新方法，以提高人形机器人操作悬挂负载的能力。该方法结合了人类演示的模仿学习和样本高效的强化学习，以优化放置精度和停止行为。在模拟和真实人形机器人上的实验表明，与仅模仿的方法相比，HOIST 显著减少了放置误差，展示了其在物料搬运任务中的潜力。
-
研究论文解释PIDM的优势胜过行为克隆
一篇新研究论文探讨了预测性逆动力学模型（PIDM）在模仿学习方面与行为克隆（BC）相比的有效性。该研究从理论上解释了PIDM提供了偏差-方差权衡，其中预测未来状态会引入偏差但会降低方差，从而在专家演示有限的情况下，比BC获得更好的性能和样本效率。在导航和视频游戏环境中的实证测试证实，PIDM需要显著更少的样本即可达到与BC相当的结果。
-
新算法弥合强化学习中的模仿差距
研究人员开发了一种新算法，以解决强化学习（尤其是在机器人领域）中的模仿差距问题。该方法侧重于创建一个共享的嵌入空间，以防止教师策略使用学生无法获得的特权状态信息。通过使用自监督对比学习训练此嵌入空间并限制对编码器网络的梯度更新，该算法旨在生成更具模仿性的教师策略。评估表明，与现有基线相比，该方法可提高学生的表现并显著减小模仿差距。
-
COBALT平台使用智能手机进行众包机器人学习数据
研究人员开发了COBALT，一个基于云的远程操作平台，使用智能手机收集大规模机器人学习数据。该系统允许多个用户同时为机器人训练做出贡献，显著降低了成本，并实现了几乎任何地方的数据收集。一项用户研究证实，基于智能手机的操作与专用硬件一样有效，在短短五天内就收集了来自九个国家的7500多个演示。
-
佐治亚理工学院的SAIL系统使机器人能够以比人类快4倍的速度学习和执行任务
佐治亚理工学院的研究人员开发了一个名为SAIL（Speed Adaptation for Imitation Learning）的新系统，该系统使机器人能够比人类指导者显著更快地执行任务。传统的模仿学习方法将机器人限制在演示任务的人的速度，但SAIL通过平滑运动、补偿硬件延迟以及根据任务要求动态调整速度来克服这一限制。在测试中，使用SAIL的机器人在现实场景中比人类快3.2倍，在模拟中快4倍，同时不牺牲精度。