Di Cao

新的 X-OPD 框架使语音大语言模型与文本模型对齐

研究人员开发了 X-OPD，一个旨在提升基于语音的大语言模型（LLMs）能力的新框架。该方法解决了端到端语音大语言模型与其文本对应模型之间常出现的性能差距，而标准训练技术无法弥合这一差距。X-OPD 使用一个基于文本的教师模型，对其语音大语言模型的探索提供反馈，有效地将教师的知识蒸馏到学生模型的跨模态表示中。实验表明，X-OPD 在复杂任务上显著减小了这一性能差距，同时保留了语音大语言模型固有的能力。