LSVM

InteractiveAvatar框架实现了实时、一致、意图感知的虚拟形象视频生成

研究人员开发了InteractiveAvatar，一个用于生成一致且意图感知的虚拟形象的实时流式视频的新型框架。该系统通过保持视觉时间一致性并在交互场景中明确感知用户意图，解决了当前基于扩散模型的一些局限性。InteractiveAvatar利用自回归蒸馏实现无限流式生成，并引入了长短期视觉记忆（LSVM）机制来保留历史视觉信息以保持连贯性。此外，一个具有状态循环策略和缓存切换机制的推理反应模块（RRM）确保虚拟形象的行为与用户意图保持一致。