Harsha Vardhan Khurdula

New diffusion model offers parallel speech transcription

研究人员开发了一种新颖的自动语音识别方法，使用冻结的离散扩散语言模型，这与传统的自回归解码器不同。这种新方法在几个去噪步骤中并行地精炼整个文本记录。该模型是DiffusionGemma的音频原生接口，它使用冻结的Whisper编码器来获取声学特征，并在LibriSpeech test-clean基准测试上实现了6.6%的词错误率，大约在八个并行步骤中处理语音。