TaoMate

新方法实现具有持久记忆的实时音视频生成

两篇新的研究论文Ripple和TaoMate介绍了用于实时音视频生成的新颖方法。Ripple利用具有滑动窗口注意力的跨模态循环记忆机制来维持长期上下文，并在480P分辨率下实现约28 FPS，在短格式和长格式生成方面均优于现有方法。TaoMate提出了一个锚点引导的持久记忆框架，该框架保留视觉锚点并将过去片段压缩成动态状态，从而在自回归生成过程中实现稳定的外观和强大的视听同步。