新ASR框架通过语音和上下文对齐增强多语言识别能力

研究人员开发了一个新的多语言自动语音识别（ASR）框架，通过整合语音和上下文信息来支持各种语言和口音。该系统使用一个冻结的语音编码器和一个仅解码器的语言模型，并通过一个轻量级的投影模块来增强结构化上下文提示（如对话历史）。对比学习目标将语音和上下文表示对齐到共享的嵌入空间，在11种语言和5种英语方言的真实对话语音上带来了超过5%的性能提升。 AI

影响 这项研究可能带来更强大、更多功能的语音识别系统，提高不同语言和对话场景下的可访问性和可用性。

排序理由 这是一篇研究论文，详细介绍了一个新的多语言ASR框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast
• Yuchen Zhang

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →