English(EN) UMo: Unified Sparse Motion Modeling for Real-Time Co-Speech Avatars

UMo架构支持实时同声传译头像动画

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-14 11:56

研究人员推出UMo，一种专为实时同声传译头像动画设计的新型架构。该系统将文本、音频和运动数据的处理统一到一个单一的公式中，从而实现更具表现力和连贯性的面部和手势生成。UMo利用稀疏专家混合框架和以关键帧为中心的方法，以低延迟实现高保真动画，使其成为交互式媒体和虚拟制作的实用解决方案。 AI

影响这项研究为生成高保真、实时的数字头像动画提供了一个实用的解决方案，有可能增强虚拟交互和媒体制作。

排序理由该集群包含一篇详细介绍特定AI应用新架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Yanwen Guo · 2026-05-14 11:56

UMo: Unified Sparse Motion Modeling for Real-Time Co-Speech Avatars

Speech-driven gestures and facial animations are fundamental to expressive digital avatars in games, virtual production, and interactive media. However, existing methods are either limited to a single modality for audio motion alignment, failing to fully utilize the potential of …