Zahir Khan

GEST-Engine 使用显式世界模型从文本生成合成视频

研究人员推出 GEST-Engine，一个旨在从自然语言文本生成合成视频的系统。该引擎利用显式世界模型，表示为时空事件图 (GEST)，以维护模拟环境的详细且可检查的状态。该系统通过一个四阶段管道处理 GEST，以零额外标注成本生成各种形式的标注视频数据，包括 RGB 视频、深度图和分割掩码。GEST-Engine 的输出旨在用作视频理解任务的训练数据、评估基准和诊断工具。