Geometry-guided Emotion Modulation

GemTalk framework enhances emotional talking face generation with geometric control

研究人员开发了GemTalk，一个新颖的、基于扩散的框架，用于生成逼真且可控的情感说话人脸视频。该系统通过整合用于语义丰富的隐式表示和用于结构精度的显式几何先验，解决了现有方法的局限性。GemTalk利用视觉引导音频情感投影模块和基于扩散的几何先验生成器来提取和优化情感及面部表情特征，从而在不影响视觉质量的情况下实现对情感强度的细粒度控制。