VoxCeleb2
PulseAugur coverage of VoxCeleb2 — every cluster mentioning VoxCeleb2 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究探索了仅解码器Transformer中的多模态同步
研究人员探索了在仅解码器Transformer中改进多模态同步的机制，特别是在视频-文本到语音（VTTS）合成方面。他们的研究使用了在VoxCeleb2上训练的Visatronic模型，研究了序列设计和位置编码策略如何影响具有不同采样率的模态之间的时间对齐。研究结果表明，虽然全局序列索引和共时有序索引在域内表现相似，但在域转移下，模态排序和位置ID设计变得至关重要。文本优先共时索引在没有显式时间戳元数据的情况下，展示了最强的跨域迁移能力。
-
新的SG-Mamba模型通过稀疏图和Mamba增强视听语音
研究人员开发了SG-Mamba，一个新颖的轻量级视听语音增强框架。该模型集成了稀疏异构图和Mamba骨干网络，以提高跨模态对齐精度，同时保持计算效率。SG-Mamba明确建模了模态特定关系和长程时间上下文，在LRS3等数据集上取得了有竞争力的性能，并在嘈杂环境中表现出鲁棒性。
-
语言归一化方法赢得 TidyVoice 2026 说话人验证挑战赛
一篇研究论文详细介绍了一种跨语言说话人验证方法，该方法在 TidyVoice 2026 挑战赛中取得了优异的成绩。该方法在嵌入空间中应用了一种名为“滋扰属性投影”（Nuisance Attribute Projection, NAP）的简单语言归一化技术。该方法有效地减少了语言不匹配的影响，从而提高了在挑战赛的多样化语言集上的性能。
-
研究发现中等规模神经网络最适合能效高的说话人验证
一篇新研究论文评估了神经说话人验证模型对环境的影响，重点关注训练和推理过程中的能耗和碳排放。该研究在VoxCeleb2数据集上分析了ResNet架构，发现更深或更宽的模型在准确性方面提升甚微，但能耗却显著增加。研究表明，像ResNet-50这样的中等规模网络在性能和环境可持续性之间提供了更好的平衡，为设计更节能的系统提供了指导。