HD-Emo codec

新的HPRO框架增强了TTS模型的情感表现力

研究人员推出了一种名为HPRO的分层渐进奖励优化框架，旨在提高基于大型语言模型的文本到语音（TTS）系统的情感表现力。该新框架解决了现有偏好驱动优化方法中存在的信息冲突和尺度差距问题。HPRO利用HD-Emo编解码器分离内容和情感偏好令牌，从而将情感优化与语义内容隔离开来，并缓解奖励攻击。该系统在帧、词和句子级别上渐进地对齐目标，从而在保持语言可懂度的同时增强情感表达。