研究人员推出了一种新颖的生成式世界模型WorldFlow,旨在联合预测未来的视频和3D轨迹。该模型利用了Transformer混合体骨干网络来同时处理这两种模态,并通过利用预训练的视频模型来增强物理动力学的预测能力。为了支持其开发和评估,WorldFlow在一个包含144万个样本的大型数据集上进行了训练,并使用新的WorldFlowBench基准进行了验证,该基准包含跨越不同领域的1678个样本。 AI
影响 这项研究通过改进物理状态的预测,推动了具身智能的发展,可能对机器人和仿真环境产生影响。
排序理由 该集群描述了一篇介绍新AI模型和基准的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- DagsHub
- Gotit.pub
- Hugging Face
- Mixture-of-Transformers
- ScienceCast
- SpatialCog
- WorldFlow
- WorldFlowBench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →