研究人员开发了 AZeroS,这是一种新颖的语音大型语言模型,它利用自生成无指令微调 (SIFT) 来提高泛化能力。该方法使用语音的文本表示从冻结的大型语言模型生成监督信号,无需特定任务的指令微调数据集。AZeroS 基于 Qwen2.5-7B-Instruct 模型构建,仅更新轻量级投影模块,保持大型语言模型和音频编码器冻结。尽管训练成本极低且数据集规模适中,AZeroS 在 VoiceBench 和 AIR-Bench 等语义和副语言基准测试中已展现出最先进的性能。 AI
影响 这种方法可以显著减少语音大型语言模型的数据策划工作量,并提高它们对新任务的适应性。
排序理由 该集群描述了一篇详细介绍一种新颖方法和模型的研究论文,该模型旨在将大型语言模型扩展到语音领域。[lever_c_demoted from research: ic=1 ai=1.0]
- AIR-Bench Chat (Speech)
- AIR-Bench Foundation (Speech)
- AzeroS
- Qwen2.5-7B-Instruct
- Self-Generated Instruction-Free Tuning
- VoiceBench
- Yiwen Shao
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →