Motion-Aware Context Fusion

DF^3 框架在潜在空间中预测自主导航的未来状态

研究人员推出 DF$^3$，这是一种用于自主导航中世界建模的新型框架，它在不依赖解码器的情况下预测未来状态。该方法完全在冻结的视觉基础模型的潜在空间中运行，使用可学习的空间查询来提取和预测未来的表示。一个关键组件是运动感知上下文融合（MACF）机制，它集成了流变形和潜在交叉相关性来对齐和预测特征。实验表明，DF$^3$ 在性能上可与最先进的方法相媲美，同时为集成感知和控制提供了更高的效率和灵活性。