Zhuoman Liu

GenSight模型统一视频生成与4D感知

研究人员推出GenSight，一种新颖的具身世界模型，在一个单一的扩散Transformer架构中统一了视频生成和密集感知。该模型利用共享的时空表示来处理视频、深度和语义分割等多种模态，所有这些都进行了联合优化。GenSight可以生成具有对齐预测的未来视频序列，或从观察到的视频中进行密集感知，展示了改进的跨模态一致性，并利用视频生成中学到的先验知识来执行感知任务。