PulseAugur
实时 09:52:26
English(EN) Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Visual Avatar Generation

Omni-LiveAvatar 实现分钟级实时音视频化身生成

研究人员推出 Omni-LiveAvatar,一个用于实时、分钟级生成同步音视频化身的创新框架。该系统利用渐进式自回归蒸馏流水线,与教师模型 LTX-2 相比显著加快了生成速度。它还整合了同步音视频长短期记忆以实现全局一致性,以及分层滚动提示规划策略以实现连贯的语义演变。实验表明,Omni-LiveAvatar 在 NVIDIA H200 GPU 上实现了 33 倍的加速,同时保持了高质量的视觉和音频同步以及人类保真度。 AI

影响 通过实时、延长的化身生成,实现更具沉浸感和交互性的数字人类体验。

排序理由 该集群描述了一个用于生成音视频化身的新框架和方法论,详细介绍于一篇 arXiv 论文中。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Omni-LiveAvatar 实现分钟级实时音视频化身生成

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Lunjie Zhu, Xingtong Ge, Fangyu Lin, Yi Zhang, Zhening Liu, Mengfei Li, Yumeng Zhang, Guanglu Song, Yu Liu, Jun Zhang ·

    Omni-LiveAvatar:分钟级实时流式联合音视频虚拟人生成

    arXiv:2608.13602v1 Announce Type: cross Abstract: Joint audio-video generative models serve as foundation for immersive and interactive digital-human generation. Nevertheless, most existing models rely on bidirectional attention and multi-step denoising and can generate only shor…