研究人员推出UniDynamics,一个新颖的基于扩散的框架,用于生成未来的4D动态场景。该方法融合事件和RGB数据,以预测未来的RGB、深度和光流,而无需依赖大量的历史数据或预定义的控制先验。UniDynamics通过使用事件流作为单RGB外推的替代运动先验,明确地对未来运动场进行建模,并通过多模态建模强制执行几何和运动约束。该框架包括一个用于对齐事件数据的事件潜在增强模块,以及一个U-Net架构内的感知动态空间,以提高几何-运动一致性,并在VKitti2和DSEC数据集上展示了最先进的结果。 AI
影响 这项研究推进了用于动态场景预测的生成模型,可能改进自动驾驶和机器人领域的应用。
排序理由 该集群描述了一篇关于新颖的4D动态场景生成框架的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- CORE Recommender
- DagsHub
- DSEC
- Gotit.pub
- Hugging Face
- Influence Flower
- ScienceCast
- UniDynamics
- VKitti2
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →