Block-wise Self-Forcing Distillation

LiveAnimate 实现实时、稳定的长篇人类动画

研究人员开发了 LiveAnimate，一个能够实时生成稳定、长篇人类动画的新颖系统。该系统基于一个拥有140亿参数的视频 Diffusion Transformer 构建，采用了两阶段训练流程和独特的 Pose-Retrieval Sink Attention 机制，以在长时间内保持一致的外观和身份。这使得直播和虚拟化身等交互式应用成为可能，在高配 GPU 上实现了 19.63 FPS 的推理速度，并在三分钟基准测试中展示了极小的质量下降。