Quanjian Song

WorldWander框架弥合主观视角和客观视角视频

研究人员推出WorldWander，一个旨在转换主观视角和客观视角视频的新颖框架。该系统利用先进的视频扩散Transformer，结合了上下文视角对齐和协作位置编码，以在不同视角之间保持同步和角色一致性。为了促进这项研究，团队还整理了EgoExo-8K，一个包含来自合成和真实世界源的同步主观视角-客观视角视频三元组的新数据集。实验表明，WorldWander在视频生成任务的视角同步、角色一致性和泛化能力方面优于现有方法。