Speech LLMs
PulseAugur coverage of Speech LLMs — every cluster mentioning Speech LLMs across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的GSR-Bench基准重新定义了超越转录的语音识别
研究人员引入了基于语义的生成式语音识别（GSR），这是一个超越传统转录来评估语音转文本系统的新框架。GSR将语音识别重新定义为生成语义化的文本，承认单个语音输入可以对应多个有效的文本输出。提出的GSR-Bench基准在多种能力上评估这些系统，包括字面转录、规范重述、语义重述和语音语义结构化。开发了一个新颖的多维度评估框架，结合了语音语义评估和基于LLM的语义判断，以解决词级别指标的局限性，并通过人类研究验证了其可靠性。
-
新方法解决了多语言ASR的扩展问题，同时保留源语言
研究人员开发了一种名为“Preserve to Expand”的新方法，用于将多语言自动语音识别（ASR）系统适配到新语言。该方法侧重于训练一个连接器，将语音表示映射到一个冻结的大型语言模型中，旨在添加新语言而不损害现有语言的性能。研究评估了更新和合并这些连接器的不同策略，发现虽然目标语言单独微调等方法会导致源语言的显著遗忘，但SSU-Wanda和TIES合并的组合为单目标扩展提供了更好的权衡。对于多目标扩展，更新合并在保留源语言方面…
-
新方法EA-SURF优化多任务语音大语言模型
研究人员开发了一种名为EA-SURF（Endpoint-Anchored Preference-Aware Sampling Uniformly along the Pareto Front）的新方法，以更好地管理多任务语音大语言模型中的任务权衡。该方法在联合训练期间调整标量化权重，以使模型的性能与特定的部署偏好保持一致。EA-SURF旨在改善由此产生的任务权衡，并在实验中显示，与标准的固定损失加权相比，归一化超体积增加了17.8%。
-
DirectSpeech2LLM框架解决了语音-LLM中的提示过拟合问题
研究人员开发了DirectSpeech2LLM，一个旨在解决语音-LLM中提示过拟合的新型框架。这个端到端系统使以语音为条件的LLM能够为未见过的任务（如语音翻译和情感识别）保持指令遵循能力，即使它们仅在自动语音识别（ASR）数据上进行训练。该框架利用了在冻结的LLM嵌入矩阵上的基于距离的CTC损失，在ASR任务上取得了强劲的性能，并能有效地泛化到先前未接触过的新指令。
-
新框架增强LLM处理和理解语音的能力
两篇新的研究论文提出了一种将语音处理与大型语言模型（LLM）集成的新颖框架。DirectSpeech2LLM旨在通过在冻结的LLM嵌入上使用CTC损失来缓解语音-LLM中的提示过拟合，从而实现对语音翻译等未见任务的泛化。DuplexJev提供了一种通过将ASR编码器状态馈送到冻结的LLM来实现实时、批量语音决策的方法，使其能够‘听到’超越文本记录的内容，并在口语问答和情感识别等任务中取得高精度。
-
新的EAVA方法增强了语音大语言模型在ASR领域的适应性
研究人员开发了一种名为“通过适配器唤醒编码器”（EAVA）的新方法，以改进语音大语言模型（Speech-LLMs）在自动语音识别（ASR）领域的领域自适应微调。该方法通过在语音编码器的每一层训练轻量级适配器，在保留预训练信息的同时融入目标领域声学知识。随后，使用低秩适配器（LoRA）对整个模型在LLM上进行联合微调。实验表明，EAVA在包括儿童和方言语音在内的领域偏移数据集上超越了现有方法，确立了新的最先进性能。
-
新的“$\alpha$-split”方法增强了联邦学习中语音大模型的隐私保护
研究人员开发了一种名为“$\alpha$-split”的新方法，以提高多语言语音大语言模型（speech-LLMs）在联邦学习中的差分隐私保护。标准的逐层差分隐私方法在声学编码器和语言解码器组件更新范数差异显著时会遇到困难，导致“跨组件预算崩溃”。提出的$\alpha$-split方法通过为编码器和LLM参数创建两个独立的池来解决这个问题，在保持原始$(\varepsilon,\delta)$-DP保证的同时，为编码器提供了增强的噪声…
-
X-AuT框架渐进式压缩语音大语言模型音频编码器
研究人员开发了X-AuT，一个旨在渐进式压缩语音大语言模型中音频编码器层的新框架。该方法通过采用行为探针、表示对齐和跨尺度蒸馏等技术，旨在以不显著牺牲准确性的前提下降低推理成本。在Qwen3-ASR-0.6B模型的中英文基准测试中进行的实验表明，将层数从18减少到14个参数可以降低错误率，同时保持性能。
-
新的WnW KV缓存方法优化了长篇语音大语言模型
研究人员开发了一种名为增减KV缓存（WnW）的新颖方法，以优化用于长篇语音处理的大语言模型的内存使用。该技术将KV缓存头分为锚点、潮汐和固定角色，允许锚点头保留在GPU上以进行实时重要性监控。潮汐头利用CPU驻留存储，并根据锚点头分数选择性地调用，而固定头则保留较小的GPU子集。在3B参数模型上使用LibriSpeech-Long数据集进行的实验表明，WnW在仅使用音频令牌通常所需的GPU内存的20%的情况下，保持了接近全缓存的准确性…
-
低资源语言的语音大模型：新研究探讨数据需求与预训练
一篇新的研究论文探讨了语音大语言模型（LLM）在低资源语言自动语音识别（ASR）方面的有效性。该研究利用SLAM-ASR框架，评估了匹配现有模型（如Whisper）所需的数据量，并证明在高资源语言上预训练投影器能显著减轻数据稀缺的影响。与EuroLLM和Salamandra等多语言大模型结合Whisper Large v3 Turbo进行的实验，为优化不同语言场景下的语音大模型提供了宝贵的见解。
-
新的基于梯度的语音到文本方法可跨所有ASR模型进行对齐
研究人员开发了一种新颖的基于梯度的语音到文本对齐方法，适用于任何可微分的自动语音识别（ASR）模型。该技术从令牌对数概率的梯度中提取词语时间信息，无需修改模型或进行训练。它提供了一种通用的对齐解决方案，适用于各种ASR家族，包括语音LLM，并直接在输入网格上进行对齐，以获得更高的时间精度。在读取语音和自发语音数据集上的十六个模型进行的评估表明，梯度对齐是可用的，其性能与原生对齐器相当，并为流式模型提供了改进，尽管它需要对每个令牌进行反向传播。
-
翻译导向的编码器预训练增强语音大语言模型
研究人员探索了一种新颖的方法来增强语音大语言模型，即将翻译目标整合到语音编码器的预训练中。该方法解决了特定语言的语音编码器与大语言模型语言无关空间之间的结构不对齐问题。通过整合语音翻译任务，预训练过程鼓励学习更鲁棒、语言无关的表示，从而提高下游语音大语言模型应用的跨模态整合和整体性能。
-
基于翻译的编码器预训练增强语音大语言模型
一篇新的研究论文提出，在语音大语言模型（Speech LLMs）中使用语音翻译来弥合语音编码器与大语言模型（LLMs）之间的差距。该论文认为，当前的架构存在结构性不匹配，因为编码器通常会产生特定语言的表示，而大语言模型则在统一的、与语言无关的空间中运行。通过将翻译目标纳入语音编码器的预训练中，研究人员发现这可以改善跨模态集成并提高下游语音大语言模型任务的性能。
-
新框架SURE使语音AI模型评估标准化
研究人员推出SURE，一个旨在标准化和提高语音理解模型评估可复现性的统一框架。该框架通过标准化预测格式、归一化和评分方法，解决了比较不同语音基础模型和语音大语言模型（Speech LLMs）的挑战。SURE还包括一个将研究论文和代码转换为可运行训练管道的系统，旨在提高面向部署的语音AI结果的可比性和可复现性。