EgoDex
PulseAugur coverage of EgoDex — every cluster mentioning EgoDex across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Ego2X 框架将以自我为中心的视频转换为机器人可执行数据
研究人员开发了 Ego2X,一个旨在将单目以自我为中心的视频转换为物理上可执行的机器人数据的创新框架。该系统专注于以物体为中心的表示,特别是 CORE(接触式物体交互表示),它捕获物体上的接触细节和相对力。Ego2X 旨在通过纠正手-物体漂移并确保机器人实现必要的接触来提高机器人交互的准确性,从而在模拟中提高任务成功率。
-
Kyutai 发布 CADRE 视频自编码器,用于更快的交互式世界模型
Kyutai 推出了 CADRE,一套旨在降低交互式世界模型延迟的新型视频自编码器。这些自编码器通过更有效地处理视频帧来改进现有模型,在单个 NVIDIA H100 GPU 上实现了低于 230 毫秒的响应时间。CADRE 在图像和运动质量基准测试中表现强劲,在 Fréchet Video Distance (FVD) 和 Action Following Rate (ARR) 等指标上优于其他几个模型,尽管在机器人操作等特定场景中存在局限性。
-
人形机器人模型Ψ₀在有限的真实世界数据上有效训练
南加州大学PSI实验室的研究人员开发了一种新的人形机器人基础模型Ψ₀,该模型专注于优化有限的真实世界机器人数据的使用。Ψ₀不依赖海量数据集,而是采用三阶段训练过程:首先,它从人类视频数据中学习通用能力;然后,使用少量真实世界机器人数据对机器人进行控制微调;最后,通过更专业的数据适应特定任务。这种方法旨在通过改进训练方法来克服机器人领域的“数据瓶颈”,尽管使用的机器人操作数据远少于当前基准,但在真实的长期任务中取得了显著成功。
-
灵巧世界模型使用结构化动作条件设置
研究人员开发了 DexAC-WM,一种用于灵巧世界模型的动作条件设置的新方法。该方法将动作条件设置视为一个结构化过程,而不是全局压缩,保留了维度级别的语义,并将动作信号与视觉动态对齐。通过引入一个用于对象-场景先验的语义分支,DexAC-WM 增强了高自由度场景中的视觉-时间真实感和动作遵循一致性。在 EgoDex 和 EgoVerse 数据集上的实验表明,在 FID、FVD 和 PCK 等指标上有了显著的改进,表明该模型在复杂、高维…