Whisfusion

Whisfusion 使用掩码扩散模型实现更快、更准确的语音识别

研究人员开发了 Whisfusion，一种利用掩码扩散模型的新型非自回归自动语音识别（ASR）系统。该方法旨在匹配传统自回归模型的准确性，同时显著提高推理速度。Whisfusion 通过在冻结的 Whisper-large-v3 音频嵌入之上训练扩散解码器来实现这一点，从而实现并行解码，并在多种语言的速度和准确性方面优于现有模型。