LibriSpeech
PulseAugur coverage of LibriSpeech — every cluster mentioning LibriSpeech across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
开放词汇语音识别在 5 美元微控制器上运行
研究人员开发了 Oído，这是一个新颖的系统，能够在低成本的 5 美元微控制器 ESP32-S3 上实现开放词汇英语语音识别，而无需专用的神经加速器。Oído 在 LibriSpeech 等基准测试中取得了具有竞争力的词错误率，其性能优于该芯片的原生识别器，甚至可以媲美一些全精度笔记本电脑模型。虽然尚未实现实时运行，但该系统证明了在高度受限的硬件上进行高级语音处理的可行性，并且代码和模型已公开提供。
-
Whistle：紧凑型语音识别模型发布，适用于设备端使用
Cactus Compute 发布了 Whistle，这是一款专为手机和机器人等设备端应用设计的紧凑型语音识别模型。这个 16.9 MB 的模型无需外部依赖即可在 CPU 上运行，能够执行转录、提供词级时间戳并生成语音嵌入。与 OpenAI 的 Whisper 等大型模型相比，Whistle 在 LibriSpeech 和 SPGISpeech 等多个基准测试中表现出卓越的性能，同时提供了更快的首次标记生成时间。
-
新研究探讨儿童语音识别自适应与成人性能保留问题
研究人员探索了自动语音识别（ASR）系统适应儿童语音的更好方法，同时保留对成人语音的识别性能。该研究比较了全微调（full fine-tuning）、LoRA和权重空间合并（weight-space merging）等技术在不同ASR架构（包括编码器-解码器、编码器-CTC和基于AudioLLM的系统）上的表现。实验重点关注阿拉伯语和英语儿童语音，结果表明，虽然自适应至关重要，但直接方法可能会降低成人语音识别的性能。权重空间合并技术通…
-
DirectSpeech2LLM框架解决了语音-LLM中的提示过拟合问题
研究人员开发了DirectSpeech2LLM，一个旨在解决语音-LLM中提示过拟合的新型框架。这个端到端系统使以语音为条件的LLM能够为未见过的任务（如语音翻译和情感识别）保持指令遵循能力，即使它们仅在自动语音识别（ASR）数据上进行训练。该框架利用了在冻结的LLM嵌入矩阵上的基于距离的CTC损失，在ASR任务上取得了强劲的性能，并能有效地泛化到先前未接触过的新指令。
-
新框架增强LLM处理和理解语音的能力
两篇新的研究论文提出了一种将语音处理与大型语言模型（LLM）集成的新颖框架。DirectSpeech2LLM旨在通过在冻结的LLM嵌入上使用CTC损失来缓解语音-LLM中的提示过拟合，从而实现对语音翻译等未见任务的泛化。DuplexJev提供了一种通过将ASR编码器状态馈送到冻结的LLM来实现实时、批量语音决策的方法，使其能够‘听到’超越文本记录的内容，并在口语问答和情感识别等任务中取得高精度。
-
新的HearInContext基准测试评估语音识别对隐式上下文的理解能力
研究人员推出了HearInContext，这是一个旨在评估语音识别系统理解隐式上下文能力的新基准。该基准包含3,764个语义测试用例，侧重于普通话和英语中的同音词，旨在衡量模型从对话回复中推断含义的能力。研究发现，虽然模型受益于隐式上下文线索，但显式提示能带来更高的准确性。对Qwen3-ASR-1.7B模型进行微调，显著提高了隐式上下文回忆能力。
-
剪枝Whisper-small通过充当正则化器来提高ASR准确性
研究人员已经证明，神经网络剪枝可以作为自动语音识别（ASR）系统的正则化技术，而不仅仅是压缩方法。通过分析Whisper-small模型中不同组件的敏感性，他们发现剪枝特定层，如解码器自注意力或最后一个编码器层，实际上可以提高泛化能力并降低词错误率（WER）。这种方法允许更积极的压缩而不会显著损失准确性，表明剪枝可以成为一个有价值的架构设计工具。
-
大型语言模型融合可提升自动语音识别性能且无额外计算成本
研究人员开发了一种新颖的方法，可以将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中，而不会增加计算成本。该方法利用LoRA（低秩适配）技术将LLMs直接融合到ASR模型的参数中。在CSJ和LibriSpeech数据集上的实验表明，这种语言模型融合在领域适应方面一致地提高了ASR性能，且不影响推理速度或内存使用。
-
新的TTS模型实现更低延迟和改进的语音-文本对齐 · 跟踪4个来源
研究人员开发了改进文本到语音（TTS）系统的新方法，重点在于实现更低的延迟以及更好的文本与语音之间的对齐。CTC-TTS 利用基于CTC的对齐器和双词交错策略，在流式合成方面优于传统方法。StreamAlign 通过结合字符级RNN-Transducer 对齐和词级ASR引导，实现了实时流式分词，显著降低了延迟。TontaubeV1 采用分层编解码器建模方法和有界上下文，分离语义和声学流，在实现高效的消费者GPU流式推理的同时，保持了自然的韵律。
-
新方法显著减少Whisper ASR模型中的幻觉
研究人员开发了一种新颖的方法来减少Whisper自动语音识别模型生成的“幻觉转录”。这种无需训练、在推理时使用的技术通过投影解码器激活来抑制不希望的输出，尤其是在输入几乎没有语音或完全没有语音的情况下。该方法在幻觉率方面取得了显著降低，在非语音基准测试上相对改进率超过92%，同时提供了幻觉抑制和语音识别准确性之间的可控权衡。
-
新的SSRR损失提升神经音频编解码器的可懂度和速度
一篇新的研究论文介绍了一种用于神经音频编解码器的自监督表征重构（SSRR）损失，旨在提高可懂度和降低延迟。该方法加速了训练，使得在H200 GPU等硬件上只需更少的步骤即可取得有竞争力的结果。SSRR损失通过重构从编解码器输出中提取的自监督表征来提高语音可懂度，从而在基于Transformer的编解码器中实现零前瞻的实时部署。采用此方法的JHCodec在LibriSpeech test-clean数据集上实现了优于其他方法的词错误率和…
-
新基准评估AI语音模型对口音的适应性
研究人员开发了一个名为ABX- Accent的新基准，用于评估无监督语音模型在适应不同口音方面的能力。该基准基于AESRC数据集，包含10种英语口音以及每种口音的小型训练集。使用自适应域归一化进行微调的基线模型，在预训练的对比预测编码模型上，实现了比未适应模型高23.6%的跨说话人ABX分数。
-
Hugging Face 量化 ASR 基准优化，发现模型会复现错误
Hugging Face 的研究人员开发了新的方法来量化语音识别模型中的“基准优化”或“benchmaxxing”。他们的研究评估了 11 个开源 ASR 模型，发现几个高分系统会复现错误的基准转录，即使音频与转录内容相矛盾。这表明模型可能通过声学线索学习识别特定基准，而不是准确地转录语音，从而导致性能得分虚高。
-
CPU 语音克隆基准测试：Pocket TTS、Kokoro、Audio8、XTTS v2 对比
一项实际基准测试在 CPU 性能上评估了四种语音克隆模型（Pocket TTS、Kokoro、Audio88 & Yassin 和 XTTS v2）。评估重点关注说话人相似度、自然度、清晰度和延迟，使用了具有不同说话人和口音的 VCTK 数据集。研究发现，虽然 XTTS v2 和 Audio88 & Yassin 是真正的零样本克隆模型，但 Kokoro 在自然度方面表现更好，而 Pocket TTS 和 Kokoro 可作为 CPU…
-
音频模型研究详解计算-性能权衡
一篇新研究论文探讨了音频模型计算资源的最佳分配，重点关注自动语音识别（ASR）和语音情感识别（SER）。该研究提出了一个分析模型大小、输入长度和表示分辨率的框架，以在固定的计算预算下最大化性能。在LibriSpeech和CREMA-D数据集上的实验表明，增加模型大小会带来收益递减，SER的最佳音频时长约为4秒，降低编码器令牌分辨率具有成本效益。
-
CuteTTS系统通过连续自回归建模增强语音合成
研究人员开发了CuteTTS，一个新颖的文本到语音系统，旨在实现高效高质量的语音合成。该系统利用变分自编码器潜在变量和块级自回归的连续自回归建模，以平衡保真度和低延迟推理。通过一种称为引导步蒸馏的技术，CuteTTS显著降低了延迟并提高了实时因子，同时保持了与基础模型相当的客观和主观质量。
-
新的LILAC编解码器实现了幂等的音频令牌化
研究人员开发了LILAC，这是一种新颖的神经语音编解码器，旨在实现幂等性，这意味着它可以解码和重新编码音频而不会改变原始令牌流。这与现有编解码器相比是一个重大改进，现有编解码器在这些过程中通常会修改大部分令牌。LILAC保持了具有竞争力的音频质量，在0.75 kbit/s的低比特率下运行时，其UTMOS得分可与最先进的编解码器相媲美。
-
新的潜在 Softmax 提高了多语言自动语音识别的数据效率
研究人员开发了一种名为潜在 Softmax 的新输出层，用于多语言自动语音识别 (ASR) 系统。该方法旨在通过更好地处理音调语言和非音调语言之间不同的监督粒度来提高数据效率。实验表明，潜在 Softmax 降低了音素错误率，并为音素到字素转换等下游任务带来了持续的词错误率提升。
-
KRAFTON发布双语语音模型A.X K2 Raon-Speech
KRAFTON发布了A.X K2 Raon-Speech，一个拥有212亿总参数和35亿活跃参数的双语（英语/韩语）语音语言模型。该多模态模型集成了SK Telecom的A.X K2 Light 20B-A3B的文本主干，以及KRAFTON AI独立开发的语音编码器和神经音频编解码器模块。该模型在语音识别、语音合成和问答等多种语音任务中表现出色，在300亿参数以下的公开可用模型中，其韩语和英语均位列前茅。
-
New diffusion model offers parallel speech transcription
研究人员开发了一种新颖的自动语音识别方法，使用冻结的离散扩散语言模型，这与传统的自回归解码器不同。这种新方法在几个去噪步骤中并行地精炼整个文本记录。该模型是DiffusionGemma的音频原生接口，它使用冻结的Whisper编码器来获取声学特征，并在LibriSpeech test-clean基准测试上实现了6.6%的词错误率，大约在八个并行步骤中处理语音。