CWMDT

新框架将视频扩散模型转变为反事实世界模型

研究人员推出了一种新颖的框架 CWMDT，该框架将标准的视频扩散模型转变为反事实世界模型。这种方法使 AI 代理能够通过显式建模干预来预测假设场景的结果。CWMDT 构建场景的数字孪生，利用大型语言模型对这些表示进行推理，然后条件化视频扩散模型以生成反事实的视觉序列。在两个基准上的评估表明，CWMDT 在修改场景属性下的时间序列预测方面取得了最先进的性能。