ECAPA-TDNN
PulseAugur coverage of ECAPA-TDNN — every cluster mentioning ECAPA-TDNN across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架改进非语言发声的说话人验证
研究人员开发了一个新的说话人验证框架，在保持语音性能的同时提高了对非语言发声（NVVs）的准确性。该系统结合了冻结的自监督特征与ECAPA-TDNN和专家混合（MoE）模块。这种方法显著降低了语音到NVV身份验证的等错误率（EER），从38.93%降至22.66%，同时也提高了语音到语音的准确性。
-
语音感知的LLM说话人验证能力较弱，新方法提升性能
研究人员开发了一种新的方法来评估和增强语音感知的大型语言模型（LLM）的说话人验证能力。初步基准测试显示，当前的语音感知LLM在说话人区分能力方面较弱，在VoxCeleb1数据集上的错误率超过20%。为解决此问题，引入了一种轻量级增强技术，该技术将说话人嵌入注入LLM并仅训练LoRA适配器。该方法在TinyLLaMA-1.1B上进行了演示，结果显示ECAPA-LLM在VoxCeleb1-E上的错误率为1.03%，接近专用说话人验证系统…
-
多模态AI提高课堂说话人识别准确率
研究人员开发了一种在K-12课堂中进行说话人识别的多模态方法，结合了声学嵌入和大型语言模型（LLM）衍生的语义上下文。与仅声学的39.0%基线相比，该方法将学生识别准确率显著提高到50.3%，对于更长的语音片段，准确率提升更大。该系统在区分教师和学生角色方面也表现出高准确率，为可以监控个人参与度的自动化反馈系统铺平了道路。
-
AI平台结合深度伪造检测与区块链证据
研究人员开发了一个名为DeepFake Forensics AI的新平台，旨在应对法律和法证领域中日益增长的合成媒体威胁。该系统集成了针对图像、视频和音频的多模态检测能力，以及一个用于识别所用特定生成式AI架构的新模块。至关重要的是，它将法证证据牢固地锚定在以太坊区块链上，确保了防篡改的保管链管理。
-
新方法为深度神经网络稀疏性提供自适应控制
研究人员开发了一种自适应正则化方法，以更好地控制深度神经网络中的稀疏性，解决了传统 $\ell_1$ 惩罚会间接影响稀疏率的挑战。该新方案根据模型当前稀疏率与目标稀疏率之间的差异动态调整正则化参数。在说话人验证任务上的实验表明，与密集模型相比，自适应方法能够可靠地实现 75% 到 99% 之间的稀疏性目标，在早期训练中收敛更快，并保持了更好的分布外鲁棒性。
-
研究人员开发使用预训练模型和边界损失的新语音语言识别方法
研究人员开发了一种使用预训练模型和基于边界的损失进行语音语言识别的新方法。该方法增强了语言表示区分不同语言的能力，同时最大限度地减少了说话人特征的影响。在Tidy-X数据集上的实验表明，与基线相比，宏观准确率提高了45.7%，微观准确率提高了15.2%，均有显著提升。
-
LASE模型通过使嵌入信息语言无关来改进跨脚本语音克隆
研究人员开发了LASE（语言对抗说话人编码器），以改进多语言语音克隆。标准的编码器在不同脚本之间保持说话人身份时会遇到困难，特别是在将非印度语语音映射到印度语时。LASE采用了一种新颖的训练方法，结合了监督对比损失和梯度反转交叉熵目标，以创建语言信息无关但说话人信息相关的嵌入。该方法显著减小了跨脚本的身份差距，并以显著减少的训练数据增强了跨脚本说话人召回率。