DNSMOS

LLM 引导强化学习以增强视听语音

研究人员开发了一种新颖的视听语音增强（AVSE）系统，该系统利用大型语言模型（LLM）来指导强化学习过程。该方法不依赖于 SI-SNR 等传统指标，而是采用 LLM 生成语音质量的自然语言描述，然后将其转换为奖励信号，用于微调 AVSE 模型。在 AVSEC-4 数据集上的实验表明，这种 LLM 引导的方法在各种客观和主观听力测试中均优于监督基线和基于 DNSMOS 的 RL 基线。