PulseAugur
中
实时 12:09:36
English(EN) LLM-Guided Reinforcement Learning for Audio-Visual Speech Enhancement

LLM 引导强化学习以增强视听语音

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新颖的视听语音增强（AVSE）系统，该系统利用大型语言模型（LLM）来指导强化学习过程。该方法不依赖于 SI-SNR 等传统指标，而是采用 LLM 生成语音质量的自然语言描述，然后将其转换为奖励信号，用于微调 AVSE 模型。在 AVSEC-4 数据集上的实验表明，这种 LLM 引导的方法在各种客观和主观听力测试中均优于监督基线和基于 DNSMOS 的 RL 基线。 AI

影响 这种 LLM 引导的方法可以通过利用语义理解，从而实现更细致、更像人类的语音增强系统。

排序理由 详细介绍一种新颖的视听语音增强方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM 引导强化学习以增强视听语音

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Chih-Ning Chen, Jen-Cheng Hou, Hsin-Min Wang, Shao-Yi Chien, Yu Tsao, Fan-Gang Zeng ·

    LLM 引导的音频-视觉语音增强强化学习

    arXiv:2603.13952v3 Announce Type: replace-cross Abstract: In existing Audio-Visual Speech Enhancement (AVSE) methods, objectives such as Scale-Invariant Signal-to-Noise Ratio (SI-SNR) and Mean Squared Error (MSE) are widely used; however, their correlation with perceived speech q…

相关实体

相关话题