研究人员推出Align4D，一个旨在从任何输入模态生成连贯视频-3D对的新颖框架。该方法利用视频来指导4D运动，并利用3D数据来塑造4D几何，解决了X到4D生成中的挑战。关键创新包括用于协调渲染与视频和多视角扩散模型的目标距离对齐（Object Distance Alignment）、用于确保一致的4D生成的运动-几何联合对齐（Motion-Geometry Joint Alignment），以及用于提高运动和几何保真度的异步优化（Asynchronous Optimization）。该框架在新的X4D数据集上进行了基准测试，并在X到4D生成任务上取得了最先进的结果。 AI
影响 这项研究通过实现更连贯、可扩展的X到4D内容创作，推动了生成式AI的能力，可能影响需要从多样化输入生成逼真3D资产的领域。
排序理由 这是一篇详细介绍4D生成新框架和技术的 ist eine Forschungsarbeit, die ein neues Framework und Techniken für die 4D-Generierung beschreibt. [lever_c_demoted from research: ic=1 ai=1.0]
- Align4D
- Consistent4D
- Maode Lai
- Motion-Geometry Joint Alignment
- Object Distance Alignment
- Video-Aligned and Multiview-Aligned Object Distances
- X4D
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
