Zhehao Dong

EMMA框架利用生成式视觉模型提升机器人控制能力

研究人员开发了EMMA框架，旨在通过使用生成式视觉模型来增强机器人控制的鲁棒性。EMMA结合了一个名为DreamTransfer的生成式数据引擎（该引擎可创建多视角一致且在几何上合理的操纵视频）和一个包含AdaMix的训练流程。AdaMix自适应地加权训练样本，以关注具有挑战性的场景。这种方法显著提高了零样本视觉机器人任务的性能，与仅使用真实数据相比，相对提高了92%以上，而AdaMix进一步带来了17%的改进。