Embodied Foundation Models
PulseAugur coverage of Embodied Foundation Models — every cluster mentioning Embodied Foundation Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
TILDE方法蒸馏具身基础模型以用于机器人策略
研究人员开发了TILDE，一种将具身基础模型的能力蒸馏到机器人策略中的新方法。该方法通过利用同策略教师监督和自主数据收集来恢复轨迹，从而绕过了广泛的动作预训练的需要。配套的AutoDAgger管道有效地收集了这种恢复经验，与传统的行为克隆相比，在现实世界任务性能方面有了显著提高，提高了4.1倍。
-
以自为中心的视频数据在具身AI预训练中优于机器人数据
一项新研究表明，以自为中心的视频数据在预训练具身基础模型方面可能比真实的机器人轨迹更有效。研究人员发现，与使用机器人数据训练的模型相比，使用经过筛选和标记的人类视频预训练的模型在验证损失方面降低了24%，在真实机器人任务执行方面的成功率显著提高。这表明一种可扩展的方法，即从人类视频中学习多样化的世界表征，然后通过有限的真实机器人数据进行适应以对齐动作空间。
-
以人为中心的视频在具身AI预训练中优于机器人数据
研究人员发现，与传统的遥操作机器人轨迹相比，以人为中心的视频可以作为一种更有效且成本效益更高的数据源，用于具身基础模型的预训练。研究表明，在过滤后的以人为中心的视频数据上训练的模型，在动作预测和任务执行方面取得了优于使用真实机器人数据训练的模型。这表明一种新范式，即使用多样化的人类视频数据进行初始预训练，然后用一小部分标记的机器人数据进行适应，以实现精确的动作对齐。
-
具身智能采用鸟瞰图以实现可扩展机器人数据
一种名为 Dexterity-BEV 的新方法正在被引入，通过改编自动驾驶中的鸟瞰图 (BEV) 方法论来解决具身智能中的数据挑战。该方法旨在将包括视觉输入、传感器读数和动作指令在内的异构机器人数据统一到通用的空间参考框架中。这种统一的表示旨在实现更具可扩展性和可转移性的机器人训练，超越简单的数据聚合，为具身人工智能建立基础数据基础设施。