multilingual semantic retrieval

新框架使单个语音编码器能够学习多种属性

研究人员开发了一种新颖的多属性多教师蒸馏框架，旨在使单个自监督语音编码器能够同时学习多种语音属性。该方法利用四个固定的教师模型将语义、说话人、语言和情感表示蒸馏到一个具有特定属性分支的共享SSL骨干网络中。实验表明，这种统一的编码器在多语言语义检索、说话人验证、语言识别和语音情感识别等各种任务上，取得了与专用单任务学生模型相当的性能。该研究还深入探讨了语音表示在编码器内的组织方式，表明不同的属性在不同的深度出现。