Conformer-Large

ASR幻觉与Conformer-Large模型中的最终编码器阶段相关

研究人员在Conformer-Large自动语音识别（ASR）模型中确定了一个关键边界，在这个边界处会出现幻觉，即与音频无关的流畅文本。通过在降级条件下研究两个独立训练的模型（一个CTC和一个RNN-T），他们发现绕过最终编码器阶段会持续导致模型发散并产生幻觉的可能性。这个阶段是表示变得更紧凑，文本可被解码器读取的地方，这表明了接地识别失败的机制性先决条件。