两篇新的研究论文Ripple和TaoMate介绍了用于实时音视频生成的新颖方法。Ripple利用具有滑动窗口注意力的跨模态循环记忆机制来维持长期上下文,并在480P分辨率下实现约28 FPS,在短格式和长格式生成方面均优于现有方法。TaoMate提出了一个锚点引导的持久记忆框架,该框架保留视觉锚点并将过去片段压缩成动态状态,从而在自回归生成过程中实现稳定的外观和强大的视听同步。 AI
影响 这些在实时音视频生成方面的进步可以实现新的交互式应用,并提高数字人创建的效率。
排序理由 两篇arXiv论文介绍了音视频生成的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →