研究人员推出了Puffin-World，一个用于生成、重建和探索3D环境的新型多模态框架。该系统将物理、几何和外观独特地集成到一个统一模型中，利用全向摄像头表示来处理各种任务和运动。Puffin-World旨在通过对这些状态进行建模并将物理动力学跨帧传播来创建物理上一致且视觉上稳定的3D世界。为了支持其可扩展性和研究，该项目包括Puffin-16M，一个包含视觉-语言-摄像头三元组和轨迹的大型数据集，以及发布的代码和模型。 AI
影响 该框架可能推动能够理解和交互3D环境的AI系统的发展，对机器人和虚拟现实等领域产生影响。
排序理由 该集群描述了一篇详细介绍新AI模型和数据集的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
We propose Puffin-World, a unified multimodal architecture that integrates physical understanding, spatial simulation, and 3D world generation and reconstruction without relying on external offline modules. To reliably construct and interact with 3D worlds, our framework jointly …
Puffin-World is a unified multimodal framework that jointly models physics, geometry, and appearance for physically consistent 3D world generation, reconstruction, and closed-loop exploration.
arXiv:2609.04196v1 Announce Type: new Abstract: We propose Puffin-World, a unified multimodal architecture that integrates physical understanding, spatial simulation, and 3D world generation and reconstruction without relying on external offline modules. To reliably construct and…