研究人员推出了一种新颖的对话语音合成框架FacialTalker，该框架整合了面部表情以增强同理心和自然度。该系统利用AUTokenizer将面部表情转换为紧凑的token，并使用Action Units进行训练。采用双重直接偏好优化策略来提高模型在多模态对话中对视觉和语音语义的理解。该框架得到了大规模同步语音和视频数据集VSDD-1K的支持，并在生成更具表现力和语境匹配的语音方面表现优于现有方法。 AI
影响 这项研究通过将视觉线索融入语音合成，可能带来更自然、更具同理心的人工智能交互。
排序理由 该集群包含一篇学术论文，详细介绍了一种新的语音合成模型和方法。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
