Conformer
PulseAugur coverage of Conformer — every cluster mentioning Conformer across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
ai-sage 发布 GigaAM Multilingual 语音模型
ai-sage 发布了 GigaAM Multilingual，这是一系列基于 Conformer 的基础模型。这些模型有 2.2 亿和 6 亿参数的变体，已在超过 70 种语言的 200 万小时以上语音数据上进行了预训练。它们针对自动语音识别 (ASR) 进行了微调，在俄语、哈萨克语、吉尔吉斯语和乌兹别克语方面提供顶级开源性能，在英语方面性能中等。
-
新AI方法打破说话人提取中的质量-可懂度权衡
研究人员开发了一种新方法来改进流式目标说话人提取，解决了音频质量和语音可懂度之间的常见权衡问题。通过使用更大的Conformer卷积核和WavLM锚定的直接偏好优化（DPO）微调策略，该系统在不牺牲音频质量的情况下显著提高了可懂度。DPO方法使用WavLM余弦相似度作为优化锚点，更好地捕捉语音结构和说话人身份，从而防止奖励攻击。
-
新的深度学习模型通过提高准确性和可解释性来增强基于脑电图的情感识别
研究人员正在开发用于基于脑电图的情感识别的先进深度学习模型，旨在提高准确性和可解释性。一种方法使用图正则化来捕捉情感类别之间的心理相互依赖性，在 SEED-IV 和 SEED-V 等数据集上显示出更高的准确性。另一种方法 MS-iMamba 利用多尺度倒置 Mamba 模型从脑电图信号中捕捉复杂的时空特征，在 DEAP、DREAMER 和 SEED 数据集上实现了高精度。第三个框架引入了面部表情代理建模，将脑电图信号转换为面部表情，从…
-
新框架提升印度语言的自动语音识别和方言识别能力
研究人员开发了一个新颖的多模态框架，用于同时增强印度语言的自动语音识别（ASR）和方言识别（DID）。该方法利用一个瓶颈编码器从 Conformer 语音表示中提取方言特征，并使用一个 RoBERTa 编码器处理 ASR 生成的嵌入，通过门控机制将它们融合。该方法在八种印度语言和三十三种方言上进行了测试，平均方言识别准确率达到 81.63%，并且在自动语音识别方面表现具有竞争力，词错误率（CER）和词错误率（WER）分别为 4.65%…
-
Mamba 架构在南非语言多语种自动语音识别方面展现出潜力
研究人员评估了 Mamba 架构在七种南非语言中的自动语音识别（ASR）能力，并将其性能与 Conformer 基线进行了比较。Mamba 在准确性方面与 Conformer 相当，同时所需的计算资源更少，训练速度更快。使用 Mamba 进行多语种训练比单语方法提高了性能，尽管显式的语言信息并未提高领域内准确性，但确实增强了跨语料库的鲁棒性。在低资源环境下的消融研究表明，语言嵌入是有益的，它们充当特定任务的控制向量，而不是捕捉语言相似性。
-
新的自监督音频模型BEST-RQ-2改进了迁移学习
研究人员推出了BEST-RQ-2，这是自监督音频表示学习的一项进展。这种新方法采用两步预训练方法，将上下文化和预测阶段分开。通过为未遮蔽区域使用ViT上下文编码器，为遮蔽区域使用轻量级预测器，BEST-RQ-2在X-ARES和XARES-LLM等基准测试上表现优于单阶段方法，同时保持可比的推理计算。该模型的代码和检查点均公开可用。
-
新框架揭示Transformer和Conformer语音模型中不同的处理策略
研究人员开发了一个名为“架构指纹识别”的新框架，用于分析Transformer和Conformer模型在自动语音识别中不同的处理策略。研究发现，Conformer采用“早期分类”方法，在早期层识别音素类别和说话人性别，这可能有利于实时应用。相比之下，Transformer则“后期整合”，将这些分类推迟到更深的层，可能适用于需要广泛上下文理解的任务。
-
新型TF-MoE语音分离模型优化用于边缘设备
研究人员推出了一种新颖的稀疏专家混合（Mixture-of-Experts）框架TF-MoE，旨在改进用于边缘设备的语音分离模型。该方法在时间和频率维度上使用动态专家专业化，从而在对推理成本影响极小的情况下增加模型容量。TF-MoE基于Conformer骨干网络构建，在低计算场景下表现出卓越的性能，在Libri2Mix等基准测试中优于BSRNN等现有方法，同时保持可比的计算效率。
-
新的自动语音识别方法InterAligner提高了训练稳定性和减少了错误
研究人员开发了一种名为InterAligner的新方法，以提高基于对齐器-编码器的自动语音识别（ASR）模型的训练稳定性和性能。该方法引入了一个中间对齐器目标和一个中间CTC损失，使得对齐过程能够在模型层之间渐进地形成，而不是突然发生。在LibriSpeech数据集上使用17层Conformer进行测试时，InterAligner在test-clean/other上的词错误率（WER）分别为3.1%/5.6%，优于以前的方法，尤其是在…
-
Arabic ASR 模型训练停滞，用户寻求社区帮助
一位 Reddit 用户正在寻求帮助，解决一个 Arabic 自动语音识别 (ASR) 模型在训练过程中无法收敛的问题。该模型基于 SpeechBrain Conformer-Transformer 架构，使用了 CTC 和 KL 散度损失函数的组合。尽管早期两种损失函数都有显著下降，但很快就趋于平稳，导致验证集上的词错误率 (WER) 很高。用户尝试了调整学习率、批次大小和词汇量大小等多种方法，但均未成功，并希望从社区获得潜在的原因或解决方案。
-
新型神经解码器无需外部语言模型即可解码语音
研究人员开发了一种用于皮层内语音解码的端到端神经解码器，旨在消除对外部语言模型的依赖。该基于Conformer的系统在一名肌萎缩侧索硬化症（ALS）患者的神经活动上进行了训练，在没有外部语言支持的情况下，字符错误率达到了23.80%。研究表明，跨会话的信号退化和词边界分割是关键挑战，但该研究证明了自包含系统为语音处理提供强大神经信号的潜力。