Whisper Large V3
PulseAugur coverage of Whisper Large V3 — every cluster mentioning Whisper Large V3 across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
基于Whisper的新系统改进了巴西葡萄牙语的韵律边界检测
研究人员开发了SAMPA，一个用于自动分割巴西葡萄牙语语音韵律边界的新系统。该系统基于微调Whisper large-v3模型，相比于该语言现有的基于规则或传统机器学习的方法是一个重大进步。SAMPA表现出具有竞争力的性能，在独立测试集上达到0.731的F1分数，在多样化数据集上达到0.796，表明其通过分析语形、语义和韵律线索来准确识别语音单元的能力。
-
NVIDIA 发布 Audex，一个统一的音频-文本大语言模型，保留文本智能
NVIDIA 推出了 Audex (Nemotron-Labs-Audex-30B-A3B)，一个能够理解和生成音频及语音的统一音频-文本大语言模型。与许多文本性能有所下降的多模态模型不同，Audex 的设计旨在保持其 Nemotron-Cascade-2-30B-A3B 骨干模型的文本智能。该模型通过多阶段训练过程和纯文本强化学习来实现这一点，从而在文本基准测试中取得有竞争力的分数，并具备强大的音频能力，包括超越语音的通用音频生成。
-
Apple 和 Cohere 通过专用高效模型推进 ASR
Apple 的机器学习研究团队开发了一种使用紧凑型 seq2seq 模型进行自动语音识别 (ASR) 错误纠正的新方法。这些模型在真实和合成 ASR 错误上进行训练，在效率和准确性方面，尤其是在低错误场景下，显著优于大型语言模型 (LLM)。与此同时，Cohere 推出了 Transcribe，一个拥有 20 亿参数的 ASR 模型，据报道其在速度和精度方面，尤其是在阿拉伯语方言方面，超越了 Whisper Large V3。
-
自动语音识别系统和人类在识别荷兰语构音障碍语音时遇到困难
一项新近发表在arXiv上的研究比较了人类听者和三种先进的自动语音识别（ASR）系统——Whisper-large-V3、Google Chirp 3和Omnilingual——在识别荷兰语构音障碍连续语音方面的性能。研究发现，人类和现成的ASR系统都面临显著困难，平均词错误率（WER）超过70%。然而，通过在构音障碍语音上微调ASR模型，可以大幅降低WER，个性化模型在识别性能上优于人类听者，并有望支持日常交流。
-
LibriConvo 语料库推动 ASR 和说话人日志发展
研究人员开发了 LibriConvo，这是一个新颖的合成对话语音语料库，旨在改进自动语音识别 (ASR) 和说话人日志系统。该语料库通过改编 Speaker-Aware Simulated Conversation 框架创建，处理现有的 English CallHome 数据以获取对话时序，并使用按书籍分组的 LibriTTS 发音单元以获得语义连贯性。LibriConvo 包含超过 240 小时的音频，涉及 830 位说话人，基线结…
-
语音模型通过参数聚类进行压缩
研究人员开发了一种无需额外数据或重新训练即可压缩语音基础模型的新方法。该方法利用k-means进行通道聚类，通过改变每层的聚类数量来探索混合稀疏性剪枝。在LibriSpeech上的实验表明，与基于幅值的剪枝相比，在HuBERT-large和Whisper-large-v3等模型上，即使在相当高的稀疏度下，词错误率（WER）也显著降低。
-
Whisfusion 使用掩码扩散模型实现更快、更准确的语音识别
研究人员开发了 Whisfusion，一种利用掩码扩散模型的新型非自回归自动语音识别（ASR）系统。该方法旨在匹配传统自回归模型的准确性，同时显著提高推理速度。Whisfusion 通过在冻结的 Whisper-large-v3 音频嵌入之上训练扩散解码器来实现这一点，从而实现并行解码，并在多种语言的速度和准确性方面优于现有模型。
-
ASR模型通过新架构和海量监督数据取得进展
自动语音识别（ASR）领域正经历快速发展，主要由两个因素驱动：伪标记数据的可用性不断增加以及新模型架构的出现。虽然Whisper-large-v3和Nvidia Parakeet v3等模型展示了大规模监督训练的强大能力，但讨论引发了一个问题：自监督学习方法是否会被ASR任务淘汰。这与计算机视觉领域形成对比，在计算机视觉领域，Dinov3等自监督方法表现出色，这引发了对语音处理领域类似突破的猜测。
-
Together AI 构建了世界上最快的语音转文本堆栈
Together AI 开发了一个高效的语音转文本系统，其速度显著优于现有模型。他们的方法解决了音频数据处理的独特挑战，音频数据比文本大得多，并且需要大量的预处理。通过优化从 CPU 预处理到 GPU 执行的整个数据路径，Together AI 在流式和离线转录任务上都实现了创纪录的低延迟和高吞吐量。
-
新的基准PashtoTTS-Bench评估低资源文本到语音系统
开发了一个新的基准PashtoTTS-Bench，用于评估像普什图语这样的低资源语言的文本到语音系统，解决了传统往返ASR方法的局限性。该基准引入了INSV框架，该框架评估可理解性、自然度、脚本保真度和验证。2026年4月至5月的首次运行评估了几种TTS系统，在omniASR_CTC_300M_v2系统下，OmniVoice auto实现了最低的词错误率（WER）。
-
语音AI技术栈日趋成熟：适用于生产环境的顶级STT、TTS和编排平台
对2026年5月语音AI技术的分析显示，语音识别（STT）、语音合成（TTS）和编排平台取得了显著进展，使得语音助手成为生产环境中可行的工程问题。作者强调，各个组件的成熟度，特别是在降低延迟方面，使得语音交互更加自然和响应迅速。该分析按特定用例对顶级选择进行了分类，例如流式转录、语音质量和平台集成，并强调优化每个层是成功部署的关键。
-
AI 飞轮将印度语言 ASR 的小众实体识别准确率提高了 17 倍
研究人员开发了一种新颖的文本到语音 (TTS) 和语音到文本 (STT) 系统，称为“TTS-STT 飞轮”，以提高印度语言小众领域的自动语音识别 (ASR) 准确性。该系统合成实体密集型音频，成本低于 50 美元，然后用于微调现有模型。微调后的模型在泰卢固语的实体命中率 (EHR) 方面取得了显著改进，性能优于开源和商业系统。
-
Moonshine Voice 发布开源 STT 工具包，支持设备端处理
Moonshine Voice 发布了一个开源 AI 工具包，专为开发实时语音应用程序的开发者设计。该框架及其语音转文本模型针对低延迟进行了优化，并且完全在设备端运行，无需账户或 API 密钥即可确保速度和隐私。Moonshine Voice 的准确率高于 Whisper Large V3，并支持与 Python、iOS、Android 以及各种物联网设备等众多平台的集成。