DeCoAR 2.0

Speech-FT 框架融合预训练和微调模型以实现更好的泛化能力

研究人员开发了 Speech-FT，一个新颖的两阶段微调框架，旨在改进语音表示模型。该方法旨在提高特定任务的性能，同时不牺牲模型跨不同任务的泛化能力。Speech-FT 首先减少微调过程中的表示漂移，然后与原始预训练模型进行插值以恢复泛化能力。实验表明，在 SUPERB 基准测试上取得了显著的改进，在各种微调场景中优于现有方法。