研究人员推出 Omni-LiveAvatar,一个用于实时、分钟级生成同步音视频化身的创新框架。该系统利用渐进式自回归蒸馏流水线,与教师模型 LTX-2 相比显著加快了生成速度。它还整合了同步音视频长短期记忆以实现全局一致性,以及分层滚动提示规划策略以实现连贯的语义演变。实验表明,Omni-LiveAvatar 在 NVIDIA H200 GPU 上实现了 33 倍的加速,同时保持了高质量的视觉和音频同步以及人类保真度。 AI
影响 通过实时、延长的化身生成,实现更具沉浸感和交互性的数字人类体验。
排序理由 该集群描述了一个用于生成音视频化身的新框架和方法论,详细介绍于一篇 arXiv 论文中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →