研究人员推出GenSight,一种新颖的具身世界模型,在一个单一的扩散Transformer架构中统一了视频生成和密集感知。该模型利用共享的时空表示来处理视频、深度和语义分割等多种模态,所有这些都进行了联合优化。GenSight可以生成具有对齐预测的未来视频序列,或从观察到的视频中进行密集感知,展示了改进的跨模态一致性,并利用视频生成中学到的先验知识来执行感知任务。 AI
影响 这项研究可能带来更集成的人工智能系统,能够预测未来事件并理解世界的当前状态。
排序理由 该集群包含一篇详细介绍新模型架构及其性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →