Speech LLMs
PulseAugur coverage of Speech LLMs — every cluster mentioning Speech LLMs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
低资源语言的语音大模型：新研究探讨数据需求与预训练
一篇新的研究论文探讨了语音大语言模型（LLM）在低资源语言自动语音识别（ASR）方面的有效性。该研究利用SLAM-ASR框架，评估了匹配现有模型（如Whisper）所需的数据量，并证明在高资源语言上预训练投影器能显著减轻数据稀缺的影响。与EuroLLM和Salamandra等多语言大模型结合Whisper Large v3 Turbo进行的实验，为优化不同语言场景下的语音大模型提供了宝贵的见解。
-
新的基于梯度的语音到文本方法可跨所有ASR模型进行对齐
研究人员开发了一种新颖的基于梯度的语音到文本对齐方法，适用于任何可微分的自动语音识别（ASR）模型。该技术从令牌对数概率的梯度中提取词语时间信息，无需修改模型或进行训练。它提供了一种通用的对齐解决方案，适用于各种ASR家族，包括语音LLM，并直接在输入网格上进行对齐，以获得更高的时间精度。在读取语音和自发语音数据集上的十六个模型进行的评估表明，梯度对齐是可用的，其性能与原生对齐器相当，并为流式模型提供了改进，尽管它需要对每个令牌进行反向传播。
-
翻译导向的编码器预训练增强语音大语言模型
研究人员探索了一种新颖的方法来增强语音大语言模型，即将翻译目标整合到语音编码器的预训练中。该方法解决了特定语言的语音编码器与大语言模型语言无关空间之间的结构不对齐问题。通过整合语音翻译任务，预训练过程鼓励学习更鲁棒、语言无关的表示，从而提高下游语音大语言模型应用的跨模态整合和整体性能。
-
基于翻译的编码器预训练增强语音大语言模型
一篇新的研究论文提出，在语音大语言模型（Speech LLMs）中使用语音翻译来弥合语音编码器与大语言模型（LLMs）之间的差距。该论文认为，当前的架构存在结构性不匹配，因为编码器通常会产生特定语言的表示，而大语言模型则在统一的、与语言无关的空间中运行。通过将翻译目标纳入语音编码器的预训练中，研究人员发现这可以改善跨模态集成并提高下游语音大语言模型任务的性能。
-
新框架SURE使语音AI模型评估标准化
研究人员推出SURE，一个旨在标准化和提高语音理解模型评估可复现性的统一框架。该框架通过标准化预测格式、归一化和评分方法，解决了比较不同语音基础模型和语音大语言模型（Speech LLMs）的挑战。SURE还包括一个将研究论文和代码转换为可运行训练管道的系统，旨在提高面向部署的语音AI结果的可比性和可复现性。