SimWorld

新框架从文本生成具有物理一致性的动态3D场景

研究人员开发了一个名为ESG（Evolutive Scene Graph）的新框架，该框架可以根据文本描述生成动态3D场景，确保物理一致性并可在Unreal Engine中直接执行。该方法涉及一个大型语言模型构建一个包含物理属性和事件驱动时间线的实体机器可检查图。该系统通过可微分仿真优化空间布局和物理参数，以满足用户指定的事件，在事件完成度和参数准确性方面优于现有基线。