3-D VAE

OmniDrive 使用 LLM 代理进行高级驾驶视频生成

研究人员推出 OmniDrive，一个新颖的 LLM 编排的多代理世界模型，用于生成多视角驾驶视频。该系统通过采用共享的符号语际来解决集成异构控制输入和融合每相机潜在表示的挑战。DRIVE-CHOREO 框架使用三个 Qwen2.5-VL 代理来创建统一的、位置感知的 token 序列，并与视频数据进行联合压缩，在 nuScenes 数据集上实现了多视角一致性和 BEV mAP 的最先进结果。