Face Landmarker

新的emg2face系统使用肌肉信号为VR驱动面部动画

研究人员开发了一种名为emg2face的新方法，该方法使用高密度表面肌电图（HD-sEMG）来生成富有表现力的面部动画。该技术特别适用于虚拟现实等应用，因为传统的面部光学捕捉方法会受到头戴式设备的阻碍。该系统记录来自额头和面部64个通道的EMG信号，使用音频爆发将其与视频数据同步，然后训练深度神经网络来预测面部混合形状参数。这使得仅基于EMG读数即可实现实时面部动画，已通过25名参与者进行了演示，并且可以迁移到各种人类和角色面部。