Data2Vec2.0

ASR模型通过新架构和海量监督数据取得进展

自动语音识别（ASR）领域正经历快速发展，主要由两个因素驱动：伪标记数据的可用性不断增加以及新模型架构的出现。虽然Whisper-large-v3和Nvidia Parakeet v3等模型展示了大规模监督训练的强大能力，但讨论引发了一个问题：自监督学习方法是否会被ASR任务淘汰。这与计算机视觉领域形成对比，在计算机视觉领域，Dinov3等自监督方法表现出色，这引发了对语音处理领域类似突破的猜测。