Wav2Vec2
PulseAugur coverage of Wav2Vec2 — every cluster mentioning Wav2Vec2 across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
SPARCLE模型提升低资源场景下的文本转语音效果
研究人员推出SPARCLE，一种新颖的说话人感知字形表示模型，旨在改进文本转语音（TTS）合成，尤其是在低资源场景下。与依赖字形到音素转换器的传统基于音素的系统不同，SPARCLE直接将字形与声学表示对齐，并融入说话人身份信息。与标准的基于字形的模型相比，该方法在极低资源场景下显著提高了效果，将词错误率降低了一半。
-
wav2VOT工具使用wav2vec2进行自动语音学标注
研究人员开发了wav2VOT，一个利用wav2vec2大型语音模型自动估计发音起始时间、闭合时长和爆破音实现等语音学特征的新工具。该工具在新数据集上的表现与现有方法相当，并且通过微调可以达到高精度。研究结果表明，大型语音模型能够生成精确的语音学标注，鼓励其在语音学研究中进一步应用。
-
WavLM 通过数据增强技术推进语音用力分类
研究人员利用 WavLM 模型在基于说话人的语音用力分类方面取得了进展，其性能优于 Wav2Vec2 和 HuBERT 等先前的方法。为了应对数据稀缺问题，他们系统地研究了各种增强策略，包括 RIR 卷积、加性噪声、时间掩码、速度扰动、带限、MixUp 和 CutMix，这些策略一致提高了 WavLM 的性能。通过模拟语音用力连续体以减少相邻类别之间的混淆的高斯邻域软标签，进一步实现了性能提升。表现最佳的系统，即采用渐进式解冻、增强和…
-
AI工具筛查波兰儿童的语音发音错误
研究人员开发了一个筛查流程，用于识别波兰语儿童的语音发音错误，以解决专家资源有限的问题。该系统结合了基于wav2vec2的CTC令牌识别器、基于对齐的错误类型分析方法以及一个护理人员助手。在测试中，识别器实现了88.7%的精确序列匹配，筛查代理显示出72.9%的精确率和61.4%的召回率。
-
WhisperX 工具包提供 70 倍速转录，具备词级准确度
WhisperX 是一个开源工具包，通过提供高度准确的词级时间戳和说话人日志，增强了 OpenAI 的 Whisper 模型。它通过集成 faster-whisper 进行批量推理、wav2vec2 进行强制音素对齐以及 pyannote.audio 进行说话人分割来实现这一点。该流程提供的转录速度比实时快 70 倍，适用于播客编辑和视频字幕等生产用例。
-
研究发现：语音模型在早期层级编码儿童的年龄/性别
研究人员分析了自监督学习（SSL）模型在儿童语音中捕获年龄和性别信息的有效性。该研究聚焦于四种模型：Wav2Vec2、HuBERT、Data2Vec 和 WavLM，并使用 PFSTAR 和 CMU Kids 数据集检查了它们的层级。结果表明，早期到中期层级在编码这些副语言线索方面最有效。HuBERT 在年龄分类方面表现最佳，而 Wav2Vec2 和 HuBERT 在性别分类方面领先。
-
新研究提升构音障碍者语音识别能力
两篇新研究论文探讨了改善构音障碍者自动语音识别（ASR）的方法。构音障碍是一种常由神经系统疾病引起的言语障碍。第一篇论文系统研究了频谱特征和声学模型，发现结合音高特征和使用因子化时延神经网络（F-TDNN）模型可以在单词和句子识别方面带来显著的相对改进。第二篇论文侧重于数据增强技术，特别是语速修改（SRM）和音高修改（PM），并将其应用于Wav2Vec2模型，证明这些方法可以有效提高不同严重程度构音障碍者的ASR性能。
-
语音模型泛化识别稀有舌侧塞音
研究人员调查了自监督语音模型是否能准确识别不常见的语音声音，特别是科伊桑语系中发现的舌侧塞音。通过在 G|ui 和 West !Xoon 的数据上微调 Wav2Vec2 和 HuBERT 等模型，他们发现这些模型确实比非舌侧塞音更能有效地识别舌侧塞音。这表明自监督学习使这些模型能够跨越更广泛的人类音素进行泛化，即使是那些在典型训练数据中很少遇到的音素。
-
ASR模型在荷兰儿童语音上的评估，Whisper-medium表现最佳
一项新近发表在arXiv上的研究评估了包括Whisper、Parakeet和Wav2Vec2在内的九个最先进的自动语音识别（ASR）模型在荷兰儿童语音数据集上的表现。微调后的Whisper-medium模型展现了最佳的整体性能，在JASMIN数据集上的词错误率（WER）为5.54%，在更具挑战性的DART数据集上为70.37%。研究人员还开发了一种自动识别发音准确且置信度高的语句的方法，减少了手动验证的需求，并实现了数据中很大一部分的自动转录。
-
新的越南语语音识别系统采用基于音素的音节建模
研究人员为越南语语音识别（ASR）系统开发了一种新颖的音节结构解码器。这种新方法在音素层面建模语音，显式地捕捉音节的音理构成，而不是依赖于字符或单词等书写单位。该系统在越南语语音基准 LSVSC 和 UIT-ViMD 上均表现出优越性能，尽管使用了明显更小的词汇量且没有额外的训练资源，但其性能优于 PhoWhisper 和 Wav2Vec2 等强大的基线模型。
-
新基准解决印度语言的ASR偏见问题
研究人员开发了Vividh-ASR，这是一个旨在评估印度语言（特别是印地语和马拉雅拉姆语）自动语音识别（ASR）模型的新基准。该基准将音频分为四个复杂性级别：录音室、广播、即兴和合成噪声，旨在解决模型在朗读语音上表现良好但在即兴音频上表现不佳的“录音室偏见”。他们的研究表明，特定的训练策略，如早期的大参数更新和难易课程，可以显著提高性能，尤其是在即兴语音方面。他们还引入了一种参数高效的训练方法，反向多阶段微调（R-MFT），该方法允许…