WavLM-large
PulseAugur coverage of WavLM-large — every cluster mentioning WavLM-large across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Edge0发布0.6B语音克隆TTS模型Audio8-TTS-Realistic
Edge0发布了Audio8-TTS-Realistic，一个拥有0.6亿参数的开放权重模型，支持零样本语音克隆。该模型支持23种语言，并针对高效微调和推理进行了优化，在CV3等特定基准测试中表现优于更大的开放模型。它采用了双自回归架构和一种新颖的训练方法，包括一个真实感批评器，以超越传统的词错误率等指标来增强自然度。
-
新的适配方法以最少参数改进说话人验证
研究人员开发了一种面向大型自监督语音模型的参数高效适配方法，旨在降低说话人验证任务的微调计算成本。提出的流形约束残差适配器（MCRA）通过分割隐藏维度并使用Sinkhorn归一化矩阵进行组间信息交换来修改Transformer残差连接，并通过可学习的门控进行控制。此外，帧自适应层聚合（FALA）技术使用基于注意力机制的方法，根据语音帧动态加权层表示，在基准数据集上以最少的训练参数实现了显著的错误率降低。
-
新的Myovox系统可解码面部肌肉运动产生的语音
一篇新研究论文介绍了Myovox，一个能够直接从说话时面部肌肉运动中解码开放词汇英语文本的系统。该系统通过多阶段流程，将词错误率从51.17%大幅提高到18.53%，显著优于先前的方法。该方法包括重现基线设置，采用经过跨模态蒸馏训练的双向Conformer模型，最后通过集成具有微调语言模型的模型进行重排序。研究人员发现，肌电图声学错误率，而非语言模型限制，是进一步提高准确性的主要制约因素。
-
CPU 语音克隆基准测试：Pocket TTS、Kokoro、Audio8、XTTS v2 对比
一项实际基准测试在 CPU 性能上评估了四种语音克隆模型（Pocket TTS、Kokoro、Audio88 & Yassin 和 XTTS v2）。评估重点关注说话人相似度、自然度、清晰度和延迟，使用了具有不同说话人和口音的 VCTK 数据集。研究发现，虽然 XTTS v2 和 Audio88 & Yassin 是真正的零样本克隆模型，但 Kokoro 在自然度方面表现更好，而 Pocket TTS 和 Kokoro 可作为 CPU…
-
PhonoQ 使用音频-发音 MRI 数据增强语音分类
研究人员开发了一种方法，通过结合来自 PhonoQ（一个在语音学特征上训练的音频模型）的表示，来提高基于音频和实时 MRI 发音数据的语音分类能力。该方法提高了识别语音和语音学类别的准确性。这种方法在对未见过的主体和语音模式进行分类时，甚至在仅有发音数据可用的情况下，都显示出改进，证明了语音学信息从音频模型到发音模型的迁移能力。
-
Speech-LLM 系统在 MLC-SLM 挑战赛中取得高准确率
研究人员为第二届 MLC-SLM 挑战赛开发了一个新颖的 speech-LLM 系统，专注于自动语音识别和说话人日志。他们的系统结合了 DiariZen-Large-s80 分割、CAM++ 说话人聚类以及 LoRA 适配的 omniASR LLM 7B v2 识别器，在开发集上取得了 29.27% 的宏观 tcpMER，显著优于官方基线。研究还分析了工程选择的影响，发现基于嵌入的说话人聚类比端到端方法更有效，并且重叠感知分割可能无意…
-
新框架改进了对人类矛盾和犹豫的识别
研究人员开发了一种新颖的框架SVF-CR，通过分析同步的多模态数据来识别矛盾和犹豫等微妙的人类情绪状态。该方法在整合文本和声学特征之前，通过交叉注意力机制精炼视觉和面部线索。在BAH数据集上的实验表明，SVF-CR显著提高了识别准确率，宏F1分数达到0.7156，优于之前的基线。
-
新研究探讨对话时序和抑郁症检测的稳健基准测试
研究人员正在探索使用对话数据检测抑郁症的新方法。一项研究调查了对话的时间动态，特别是临床医生和参与者轮流发言之间的时间，作为关键指标。该时间模块与其它语音编码器融合后，在识别抑郁症方面表现强劲。另一篇论文介绍了 DEPOOL，这是一个旨在严格评估基于语音的抑郁症检测的各种时间聚合策略的基准。该基准突出了稳健性问题，表明许多配置在不同的训练运行和骨干网络中可能不可预测地失败，这强调了对更稳定评估标准的需求。
-
人工智能评估韩国幼儿发音
研究人员开发了一个自动系统来评估韩国幼儿的发音，填补了当前评估工具的空白。该系统利用神经说话人分割和自监督学习技术来分析语音录音。在一个新创建的包含53名儿童录音的语料库上进行的实验显示出有希望的结果，一个集成模型在发音评分方面达到了0.782的平均平衡准确率。