Omni-Camera

Puffin-World：统一的3D AI框架集成了物理、几何和外观

研究人员推出了Puffin-World，一个用于生成、重建和探索3D环境的新型多模态框架。该系统将物理、几何和外观独特地集成到一个统一模型中，利用全向摄像头表示来处理各种任务和运动。Puffin-World旨在通过对这些状态进行建模并将物理动力学跨帧传播来创建物理上一致且视觉上稳定的3D世界。为了支持其可扩展性和研究，该项目包括Puffin-16M，一个包含视觉-语言-摄像头三元组和轨迹的大型数据集，以及发布的代码和模型。