Linguistic Fusion Module

新的PD-GS方法增强了AI说话人头部的唇部发音

研究人员开发了一种名为音素驱动高斯泼溅（PD-GS）的新方法，以提高语音驱动说话人头部生成中唇部发音的准确性。传统方法常常导致嘴部运动过度平滑，并且无法捕捉诸如闭唇等关键的发音事件。PD-GS通过将源自自动语音识别和强制对齐流程的时间对齐音素令牌与连续音频嵌入相结合来解决这一问题。这种方法在确保对音素序列的精确指导的同时，实现了更平滑的动态，从而生成更具语言忠实度的神经化身。