实体
speech encoder
speech encoder
PulseAugur coverage of speech encoder — every cluster mentioning speech encoder across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM ASR 连接器共享策略提升多语言性能
研究人员为基于LLM的自动语音识别（ASR）系统开发了一种新颖的连接器共享策略，该策略利用了语言家族成员关系。这种方法允许单个连接器服务于同一家族内的多种语言，与为每种语言训练单独的连接器相比，减少了参数数量。该方法已在两个多语言LLM和真实语料库上得到验证，展示了改进的泛化能力，并为部署多语言ASR提供了更实用、更具可扩展性的解决方案。
-
基于翻译的编码器预训练增强语音大语言模型
一篇新的研究论文提出，在语音大语言模型（Speech LLMs）中使用语音翻译来弥合语音编码器与大语言模型（LLMs）之间的差距。该论文认为，当前的架构存在结构性不匹配，因为编码器通常会产生特定语言的表示，而大语言模型则在统一的、与语言无关的空间中运行。通过将翻译目标纳入语音编码器的预训练中，研究人员发现这可以改善跨模态集成并提高下游语音大语言模型任务的性能。