研究人员开发了一种名为“Preserve to Expand”的新方法，用于将多语言自动语音识别（ASR）系统适配到新语言。该方法侧重于训练一个连接器，将语音表示映射到一个冻结的大型语言模型中，旨在添加新语言而不损害现有语言的性能。研究评估了更新和合并这些连接器的不同策略，发现虽然目标语言单独微调等方法会导致源语言的显著遗忘，但SSU-Wanda和TIES合并的组合为单目标扩展提供了更好的权衡。对于多目标扩展，更新合并在保留源语言方面表现稳定，尽管递归扩展显示出顺序敏感性。 AI
影响 这项研究可能导致更高效的多语言ASR系统的开发，减少对广泛重新训练和数据的需求。
排序理由 该集群包含一篇学术论文，详细介绍了LLM驱动的ASR系统的适配新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Preserve to Expand: Source-Aware Adaptation and Model Merging for Multilingual LLM-Based ASR
- Speech LLMs
- SSU-Wanda+TIES
- TIES-Merging: Resolving Interference When Merging Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
