jdopensource

JoyAI-Echo 可实现分钟级交互式视频生成

研究人员推出了 JoyAI-Echo 框架，旨在克服长视频生成中的错误累积和推理速度慢等限制。该系统利用跨模态音视频记忆库来实现角色外观和声音在长时间内的持续一致性，并结合了加速生成速度 7.5 倍的蒸馏过程。JoyAI-Echo 还配备了一个交互式代理，可通过对话指令进行实时用户编辑，以及一个用于保持高清的超分辨率模块，从而实现分钟级、即时可编辑的视频创作。