LeapTalk

LeapTalk框架实现200 FPS的实时说话人头像生成

研究人员开发了LeapTalk，一个旨在克服说话人头像生成中延迟-质量权衡的新型框架。这种新方法能够通过单次前向传播实现稳定、实时的视频生成，并能处理任意长度的视频。LeapTalk利用基于布朗桥的数据到数据传输公式和异构蒸馏框架来确保时间稳定性和平滑的知识转移。该系统实现了高保真唇形同步，视频生成速度最高可达200 FPS，显著提高了效率和稳定性，优于现有方法。