研究人员开发了SlotMem,一个新颖的内部内存框架,旨在提高长叙事视频生成中的角色一致性。该系统通过使用字符-语义探针识别与角色相关的视觉标记,并使用内存编码器将这些标记压缩成面向角色的内存槽,来解决在场景转换和时间间隔中保持重复角色身份的挑战。然后,内存写入器使用新观察更新角色内存,而面向角色的交叉注意力则检索这些角色内存并将其注入到同一角色的局部标记中。在视频生成基准上的实验表明,SlotMem在保持视频质量的同时增强了长程角色一致性。 AI
影响 增强了AI生成视频中的角色一致性,可能提高叙事连贯性和真实感。
排序理由 这是一篇详细介绍AI视频生成新技术框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →