self-supervised speech models
PulseAugur coverage of self-supervised speech models — every cluster mentioning self-supervised speech models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
自监督语音模型展现语音向量算术能力
研究人员发现，自监督语音模型（S3Ms）以一种结构化、组合的方式编码语音特征。一项跨越96种语言的研究表明，S3M表征中存在与语音特征相对应的线性方向，这些向量的尺度与其声学实现相关。这表明S3Ms利用了可语音解释的向量，实现了“语音向量算术”，通过诸如添加浊音向量之类的操作可以改变声音，例如将[p]变为[b]。
-
新研究通过跨语言和多模态方法解决深度伪造检测问题 · 跟踪4个来源
研究人员正在开发先进的音频和视频深度伪造检测方法，重点是提高跨不同语言和未见攻击类型的泛化能力。一种名为“语言正交化”的方法旨在从语音模型中去除特定语言的变体，以增强跨语言检测能力。另一种名为CRAF的方法融合了来自自监督学习模型和听觉大语言模型的互补表示，以提高鲁棒性。此外，R2M提供了一个无需训练的框架，通过分离共享组件和生成器特定的伪影来合并深度伪造检测模型，而MARE则利用带有强化学习的视觉-语言模型来创建可解释的深度伪造检测系统。
-
新的SPAM方法联合处理电话分割和识别
研究人员开发了一种名为基于S3M的语音激活映射（SPAM）的新颖方法，以联合解决语音处理中的电话分割和识别任务。该方法通过将S3M表示映射到语音特征激活来利用自监督语音模型（S3Ms）中的潜在语音结构。SPAM需要最少的语音转录数据，并在各种数据集上表现出强大的性能，甚至可以泛化到未见的语音。
-
新系统PhonoQ-2.0推进多语言语音特征识别
研究人员开发了PhonoQ-2.0，一个用于识别语音中语音特征的新型多语言系统。该系统利用自监督语音模型为每帧预测一个详细的22维特征向量，捕捉发音方式、元音质量、发音部位和清浊等方面的特征。PhonoQ-2.0在各种语言和语料库中表现出色，在域内和域外都取得了较高的宏观F1分数，并且与传统的基于音素的方法相比，在未见过（unseen）的语言上有了显著的改进。