Qwen3 ASR
PulseAugur coverage of Qwen3 ASR — every cluster mentioning Qwen3 ASR across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
语音转文本模型难以处理混合语言讲座
近期对语音转文本模型 Whisper 和 Qwen3-ASR 的评估显示，在转录混合了埃及阿拉伯语和英语的讲座时，尤其是在涉及专业词汇时，存在显著挑战。Whisper 模型即使经过精细的提示调整，也表现不佳，丢失了高达 8% 的讲座内容，并误解了英语医学术语。Qwen3-ASR 1.7B 模型相比 Whisper 表现出较低的词语丢失率，尽管在未明确提示的情况下，两种模型都难以处理英语术语。研究强调，许多错误，例如用阿拉伯语字母拼写的…
-
EcoHash 集成 Whisper、Llama 和 Kokoro 以实现经济高效的语音代理
EcoHash 发布了一项新集成，允许用户使用与 OpenAI 兼容的 API 构建语音代理。该系统结合了语音转文本（使用 Whisper Large v3 Turbo）、语言模型（如 Llama 3.1 8B-Instruct）进行处理，以及文本转语音（使用 Kokoro 82M）。该集成旨在通过使用单一 API 密钥和提供商来简化所有三个阶段的流程，每分钟生成的语音成本约为 0.006 美元。此外，还有一个单独的指南详细介绍了如何…
-
HINTT 比较级联与统一语音大模型在说话人归属 ASR 中的应用
HINTT 的研究人员向第二届 MLC-SLM 挑战赛提交了一个系统，该系统比较了两种用于说话人归属自动语音识别 (ASR) 的方法。该研究调查了一种级联流程，该流程结合了独立的说话人分离和 ASR 模型，以及一种直接生成说话人标签、时间戳和转录的统一语音大模型。HINTT 团队的最终提交采用了级联方法，集成了 DiariZen 进行说话人分离，Qwen3-ASR 进行转录，并使用大模型进行错误校正。为了进行比较分析，VibeVoic…
-
基于LLM的过滤可改善嘈杂警用音频的ASR性能
研究人员开发了一种新方法，通过使用伪标签来改进嘈杂警用音频的自动语音识别（ASR）系统。该技术将Whisper和Qwen3-ASR等基础ASR模型适配到特定领域，例如巴尔的摩和芝加哥的警务通信。研究发现，现有的置信度指标不足以过滤伪标签，因此引入了LLM-as-a-judge过滤范式，显著降低了词错误率（WER）。此外，还探索了跨模型伪标签方法作为未来研究的有前景的方向。
-
Google 的 Gemini 应用提供免费每日简报；Nari Labs 发布新的语音模型
Google 已将其 Gemini 应用的每日简报功能免费提供给美国用户，该服务最初于 2026 年 I/O 大会宣布。此外，Nari Labs 发布了 Qwen3-TTS 和 Qwen3-ASR，这是专为高精度、低延迟和成本效益而设计的开源语音模型。
-
Nari Labs 以 Qwen3 模型引领语音 AI 基准测试
Nari Labs 在 Coval 语音 AI 基准测试中，其 Qwen3-TTS 和 Qwen3-ASR 模型均取得了最高排名。该公司模型在文本转语音的时间到首个音频（TTFA）和词错误率（WER）等指标上表现出色，在语音转文本方面则在时间到最终片段（TTFS）和词错误率（WER）方面表现突出。与 AssemblyAI 和 ElevenLabs 等竞争对手相比，Nari Labs 还强调了其产品的成本效益。
-
新方法量化辅音对词语可懂度的贡献
研究人员开发了一种新颖的方法，利用声学掩蔽来量化辅音对词语可懂度的贡献。该技术涉及掩蔽单词中的单个辅音，并评估自动语音识别（ASR）模型是否仍能正确识别它。该研究将此方法应用于英语、西班牙语、德语和捷克语，使用了MMS、Whisper和Qwen3 ASR等ASR架构，并发现辅音的排名取决于语言。
-
研究揭示ASR往返评估掩盖了TTS阅读错误
一篇新发表在arXiv上的研究论文指出了自动语音识别（ASR）往返评估在评估中文新闻文本到语音（TTS）系统时的局限性。研究发现，该方法会掩盖上下文和约定相关的阅读错误，即TTS系统产生一个看似合理但发音错误的语音，而自动语音识别（ASR）系统仍能正确转录。对MiMo TTS和CosyVoice系统的审计揭示了大量此类被掩盖的错误，这表明ASR往返评估可用于初步筛选，但不足以作为评估中文新闻TTS阅读风险的唯一依据。
-
新的视听分割系统赢得LSVOS挑战赛
研究人员开发了一种新颖的视听分割系统，该系统涉及识别和分割视频中语音描述的对象。该系统首先使用Qwen3-ASR将语音转录为文本，然后使用互补的接地和分割模型生成多个视频掩码轨道。为了提高准确性，该系统会选择候选者中平均一致性最高的轨道，并对特定查询类型应用基于规则的校正。这种方法在第八届LSVOS挑战赛的MeViS-Audio赛道上取得了第一名。
-
开源 iOS 应用支持 iPhone 上的离线 AI 模型
一款名为 LiveTranscriber 的开源 iOS 应用程序已被开发出来，可在设备上完全运行各种语音和语言模型，从而在 iPhone 上实现离线功能。该应用程序支持 Whisper 进行转录、Qwen3-ASR 进行多语言识别、NVIDIA Nemotron Streaming 进行低延迟实时转录以及 MOSS Multi-Speaker 进行说话人感知转录等模型。主要功能包括离线摘要、实时翻译和可搜索的转录历史记录，主要的工程…
-
自托管开源语音转文本模型会产生隐藏成本
自托管开源语音转文本模型，如 Whisper Large V3、Qwen3 ASR 以及 NVIDIA 的 Parakeet 和 Canary，最初可能看起来是免费的，但其总体拥有成本却相当可观。除了模型权重之外，用户还必须考虑 GPU 基础设施的巨大开销，这通常涉及支付闲置时间费用或处理冷启动问题。此外，原始检查点缺乏关键的生产功能，例如准确的说话人分离和针对真实世界数据的可靠实体格式化，而这些功能通常包含在托管 API 提供商的服务中。
-
AssemblyAI 推 Universal-3.5 Pro 优于 Qwen3-ASR，适用于生产环境语音转文本
AssemblyAI 将其 Universal-3.5 Pro 语音转文本模型与阿里巴巴的 Qwen3-ASR 进行了比较，强调了其专有解决方案在生产环境中的优势。虽然 Qwen3-ASR 被认为是一个功能强大的多语言开源模型，但 AssemblyAI 认为，适用于生产环境的应用需要的不仅仅是准确的转录。据报道，Universal-3.5 Pro 在处理多语言代码切换方面表现出色，提供诸如说话人分离和实体识别等集成功能，并提供实时流式…
-
AssemblyAI：自托管 AI 模型比托管 API 成本更高
AssemblyAI 认为，虽然在 Baseten、Modal 或 Fireworks 等平台上自托管 Whisper 或 Qwen3-ASR 等开源语音模型在纸面上可能看起来成本效益高，但总体拥有成本通常高于使用托管 API。该公司强调了隐藏成本，包括 GPU 利用率、构建和维护核心模型之外的功能（如说话人分离或 PII 屏蔽）的需要，以及确保生产级可靠性和正常运行时间的负担。AssemblyAI 建议，自托管仅在大量离线批量处理或…
-
r/LocalLLaMA 用户寻求 ASR 和 TTS 模型推荐
r/LocalLLaMA 上的这篇 Reddit 帖子在征求自动语音识别 (ASR) 和文本转语音 (TTS) 模型推荐。原帖作者目前正在使用 Whisper 和 Kokoro 等旧模型配合 koboldcpp，并正在寻找更新、可能更好的替代品。他们提到了 Qwen3-ASR 和 Qwen3-TTS，但尚未测试过，并希望从社区那里获得关于他们当前 ASR 和 TTS 模型使用情况的意见。
-
语音助手使用 CPU 进行 ASR/TTS，将 GPU 释放给 LLM
一位用户成功实现了一个语音助手，该助手在 CPU 上运行语音识别和文本转语音模型，从而将 GPU 释放出来用于主要的 LLM。他们在 2022 年的 Macbook M2 和 AMD Ryzen 9 7900 上测试了 Qwen3-ASR 和 Kokoro-TTS ONNX 模型，发现 M2 基本可用，而 Ryzen 9 速度非常快。用户已分享代码供他人测试和探索此设置的可能性。
-
Hugging Face Transformers v5.13.0 增加了 KimiK、Xiaomi MiMo、NVIDIA 和 Qwen ASR 模型
Hugging Face 的 Transformers 库发布了 5.13.0 版本，引入了多个新的开源模型。此次更新包括 KimiK 的 Kimi K2.5，一个多模态代理模型，专为高级编码和自主执行而设计。此外，该版本还包含 Xiaomi MiMo 的 MiMo-V2-Flash，一个混合专家模型，针对长上下文推理和高效推理进行了优化。更新还整合了 NVIDIA 的 Nemotron 3.5 ASR 和 Nemotron ASR …
-
新研究推动了用于构音障碍语音和合成数据使用的ASR · 跟踪4个来源
研究人员正在探索改进自动语音识别（ASR）系统的新方法。一项研究详细介绍了如何使用个性化数据对Whisper模型进行微调，显著降低了构音障碍语音的词错误率，在使用大量数据的情况下达到了9.7%的错误率。另一篇论文研究了使用合成语音训练ASR系统，发现通过房间冲激响应增强合成音频可以弥合与真实世界数据的差距。此外，一个名为PreferenceASR的新测试集已被开发出来，用于根据ASR系统遵循用户指定输出偏好的能力进行评估，揭示了传统基…
-
audio.cpp 框架提供更快的音频模型推理速度
一个名为 audio.cpp 的新 C++ 推理框架已被开发出来，它构建在 ggml 之上，用于运行包括 TTS、ASR 和语音转换在内的各种音频模型。该框架旨在将多个音频模型整合到单个运行时中，从而无需为每个模型单独配置 Python 环境。初步基准测试显示速度有显著提升，部分 TTS 模型在热启动场景（模型被重复使用）下的运行速度比其 Python 版本快 5 倍。
-
新紧凑型TTS模型Inflect-Micro-v2和Inflect-Nano-v2发布
Owen独立开发并资助了Inflect-Micro-v2和Inflect-Nano-v2，这是两个新的文本到波形语音合成模型。这些模型专为本地、固定语音的英语TTS设计，优先考虑参数少于1000万（Micro）的质量，或参数少于400万（Nano）的更小占用空间。在人类偏好研究和可懂度测试中，这两个模型都表现出具有竞争力的性能，同时还提供快速的CPU推理。
-
Google 的 Eloquent 听写应用因频繁转录错误而无法通过基准测试
一位用户在尝试对 Google 的新设备端听写应用 Eloquent 进行基准测试时，发现由于频繁的音频转录失败，该应用基本无法使用。尽管该应用在正常运行时准确率具有竞争力，但它经常返回不完整或根本没有转录内容，这让用户怀疑它表现得像一个聊天式 AI，有时会回应音频内容而不是转录它。用户还测试了 Google 的开源模型 Gemma 3n，该模型也出现了类似问题，这表明 Eloquent 可能隐藏了这些问题。