InsertAnywhere

新框架InsertAnywhere通过4D场景理解和光学真实感增强视频物体插入

研究人员开发了InsertAnywhere，一个用于视频物体插入（VOI）的新框架，解决了4D场景理解和光学交互方面的局限性。该系统使用一个4D感知掩码生成模块来实现几何感知的物体放置，并采用光学感知表示对齐策略来实现阴影和反射等真实光照效果。为了便于训练，该团队还创建并发布了ROSE++数据集，这是一个专门用于学习光学效果的四元组数据集。实验表明，InsertAnywhere在创建逼真和照片级真实感的视频插入方面优于现有工具。