研究人员开发了 Hallo-Live，一个用于实时文本驱动音视频化身生成的新颖框架。该系统利用异步双流扩散方法结合以人为本的偏好蒸馏，以实现高保真度和同步性。Hallo-Live 展现了显著的速度提升，以 20.38 FPS 的低延迟运行，使其适用于交互式应用。 AI
影响 为虚拟助手和流媒体等应用实现实时交互式化身生成。
排序理由 这是一篇详细介绍实时化身生成新框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Hallo-Live 实现 20 FPS 的实时音视频化身生成
报道来源 [1]
-
Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation
arXiv:2604.23632v1 Announce Type: new Abstract: Real-time text-driven joint audio-video avatar generation requires jointly synthesizing portrait video and speech with high fidelity and precise synchronization, yet existing audio-visual diffusion models remain too slow for interac…