OGI Spontaneous

Gumbel-BEARD 自动适应低资源语音领域的Whisper

研究人员开发了Gumbel-BEARD，一个旨在提高语音基础模型在低资源领域性能的新框架。该方法使用可训练的Gumbel-Softmax选择器和自监督适应目标，自动选择Whisper编码器层。实验表明，Gumbel-BEARD可以用显著更少的标记数据匹配全监督基线，并在MyST和CORAAL等具有挑战性的数据集上创下了新的最先进词错误率。