研究人员推出了一种新颖的交互式视频世界建模框架 World-in-Context (WiC),该框架统一了视角、动作和相机控制。与之前隐式处理或通过碎片化路径处理这些控制的方法不同,WiC 将它们作为显式 token 集成到共享的自注意力空间中。这种方法能够从单视图数据中涌现出视角切换能力,并通过一种称为 Interaction-Transport RoPE (IT-RoPE) 的新参数化方法提高了时间连续性。在 WBench 基准测试的评估中,World-in-Context-5B 模型实现了与更大模型相当的导航性能,并显著提高了视角切换的成功率。 AI
影响 该框架通过改进对观看视角和动作的控制,有望增强交互式视频生成和导航。
排序理由 该集群描述了一篇关于视频世界建模的新颖框架和方法的研究论文。
在 Hugging Face Daily Papers 阅读 →
- EchoWM
- Hugging Face
- In-Context Conditioning
- Interaction-Transport RoPE
- IT-RoPE
- WBench
- World-in-Context
- arXiv
- World-in-Context-5B
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →