neural shader

新的ViDS系统使用3D面部追踪进行逼真的肖像动画

研究人员开发了ViDS，一种新颖的视频扩散着色器，它利用3D面部追踪来创建逼真且保留身份的肖像动画。该系统从参考图像中重建3D可变形模型（3DMM）网格，并使用驱动视频中的表情和姿势数据对其进行动画处理。ViDS采用视频扩散模型作为神经着色器，利用3DMM法线贴图中的密集几何线索生成逼真的动画，从而保持原始外观和身份。与以前的方法相比，该方法在表情和姿势控制方面有所改进，并且自回归扩散采样过程增强了生成片段之间的一致性。