PulseAugur
中
实时 23:11:39
实体 Latent Action Models

Latent Action Models

PulseAugur coverage of Latent Action Models — every cluster mentioning Latent Action Models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 8
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 8
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 8 条
  1. TOOL · CL_366188 ·

    新的LAPIS方法改进了来自视频数据的潜在动作策略

    研究人员开发了LAPIS,一种用于改进从无动作视频数据中提取的潜在动作策略的新方法。现有方法通常依赖于行为克隆,这种方法缺乏明确的策略改进目标,并可能导致不可靠的潜在动作。LAPIS通过推导出潜在空间中的策略改进转化为有效物理执行的条件,并使用条件流策略来建模多模态结构来解决这个问题。该方法表现出强大的性能,尤其是在视觉操作任务中,并且即使在动作标签有限的情况下仍然有效。

  2. RESEARCH · CL_357766 ·

    SALA方法利用人类视频增强机器人学习

    研究人员推出了一种新颖的训练具身基础模型的方法SALA,该方法利用人类视频来改进机器人学习。SALA专注于为潜在动作建立语义对应关系,使其能够在不需要配对数据的情况下将人类动作与机器人动作进行对齐。通过使用非配对视频片段的语言描述,SALA引导潜在动作朝着语义相关的机器人动作发展,从而实现双轴扩展,以提高下游任务的性能和真实世界机器人的成功率。

  3. TOOL · CL_294806 ·

    研究论文分析潜行动模型中的失败案例

    本文深入探讨了潜行动模型(LAMs)在从无标签视频中学习行动表示所面临的挑战。研究发现,外源状态(如背景杂乱)会引入与智能体行动无关的变化,从而干扰可靠的潜行动学习。该研究分析性地扩展了一个线性的LAM框架来模拟这种外源状态,揭示了标准的重构目标可能导致潜行动编码未来的外源信息。研究结果表明,关注表示空间内的内源成分对于减轻这种干扰至关重要,而诸如行动监督之类的辅助目标可以促进不同外源状态之间的一致性。

  4. TOOL · CL_254938 ·

    新的ACT-LAM框架改进了视频中的潜在动作建模

    研究人员引入了ACT-LAM,一个旨在改进视频中潜在动作建模的新框架。该方法解决了一个核心问题,即较低的重构误差并不总是能转化为更好的动力学或下游性能。ACT-LAM通过采用动作查询IDM进行选择性线索提取和动作令牌FDM进行连续状态感知动作条件,来增强动作提取和利用。实验表明,ACT-LAM在VP2基准测试中实现了卓越的潜在动作一致性和前向动力学,在聚合成功率上比现有技术提高了7.6%,同时降低了计算开销。

  5. TOOL · CL_212208 ·

    机器人学习研究阐明潜在动作模型的影响

    研究人员对机器人学习中的潜在动作模型(LAMs)进行了全面的实证研究,旨在阐明哪些设计选择对下游机器人操作性能有显著影响。该研究在一个通用框架内统一了各种LAM方法,并系统地评估了41个设计选择在不同维度上的表现,包括建模范式、学习目标和集成策略。研究结果表明,使用潜在动作对视觉-语言模型骨干进行微调,为策略学习提供了更优的初始化,这一结论得到了真实机器人操作任务的支持。

  6. TOOL · CL_100176 ·

    FlexLAM 引入可变长度潜在动作以改进基于视频的决策制定

    研究人员推出了一种新颖的潜在动作学习方法 FlexLAM,该方法解决了现有模型中的瓶颈权衡问题。与使用固定容量瓶颈的先前方法不同,FlexLAM 采用通过嵌套 dropout 训练的可变长度潜在动作。这使得模型能够首先捕获紧凑的转换结构,并在需要时添加细节,而无需新的架构或损失函数。FlexLAM 在各种 token 预算和压力测试中均表现出改进的性能,表明它是潜在动作模型和视频预训练动作接口的通用升级。

  7. TOOL · CL_56467 ·

    新MaskLAM方法增强具身智能体训练

    研究人员开发了一种名为MaskLAM的新方法,用于改进使用潜在动作模型(latent action models)的具身智能体(embodied agents)的训练。该技术解决了视频中与动作相关的视觉干扰物问题,这些干扰物可能导致模型学习不相关的运动,而不是智能体控制的动力学。MaskLAM通过将重建目标仅集中在属于智能体的像素上,有效地迫使潜在动作代表智能体的实际运动。这种方法在预训练期间不需要架构更改或额外的标签,并在基准任务上…

  8. TOOL · CL_36079 ·

    DiLA模型通过解耦学习推进了自监督世界模型

    研究人员开发了DiLA,一种新颖的解耦潜在动作世界模型,旨在改进视频生成和动作抽象。DiLA通过将视觉细节分离到内容通路,将空间布局分离到结构通路,解决了动作抽象和生成保真度之间的权衡问题。这种解耦允许在不牺牲生成质量的情况下,实现连续的、语义结构化的潜在动作空间,从而在视频生成、动作迁移和视觉规划方面取得了卓越的性能。