DualDPO

新AI框架整合面部表情，实现更具同理心的语音合成

研究人员推出了一种新颖的对话语音合成框架FacialTalker，该框架整合了面部表情以增强同理心和自然度。该系统利用AUTokenizer将面部表情转换为紧凑的token，并使用Action Units进行训练。采用双重直接偏好优化策略来提高模型在多模态对话中对视觉和语音语义的理解。该框架得到了大规模同步语音和视频数据集VSDD-1K的支持，并在生成更具表现力和语境匹配的语音方面表现优于现有方法。