研究人员开发了SG-Mamba,一个新颖的轻量级视听语音增强框架。该模型集成了稀疏异构图和Mamba骨干网络,以提高跨模态对齐精度,同时保持计算效率。SG-Mamba明确建模了模态特定关系和长程时间上下文,在LRS3等数据集上取得了有竞争力的性能,并在嘈杂环境中表现出鲁棒性。 AI
影响 引入了一种新的模型架构,在语音增强任务中平衡了效率和准确性。
排序理由 该集群描述了一篇关于一种新颖的视听语音增强模型的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →