AuEmoChat

新框架通过真实的表情渲染增强对话语音合成

研究人员推出 AuEmoChat，一个旨在通过实现更真实的情感理解和渲染来改进对话语音合成的新颖框架。该系统利用 AuEmoCodec 学习离散的真实情感标记空间，超越了有限的预定义类别。此外，还提出了 AuEmoToMe 来合并冗余的对话标记，同时保留关键的情感上下文，并将其集成到用于语音预测的自回归模型中。在 NCSSD-EmCap 数据集上的实验表明，AuEmoChat 在生成富有表现力和真实情感的语音方面优于当前最先进的方法。