SlotMem

SlotMem框架提高了长视频生成中的角色一致性

研究人员开发了SlotMem，一个新颖的内部内存框架，旨在提高长叙事视频生成中的角色一致性。该系统通过使用字符-语义探针识别与角色相关的视觉标记，并使用内存编码器将这些标记压缩成面向角色的内存槽，来解决在场景转换和时间间隔中保持重复角色身份的挑战。然后，内存写入器使用新观察更新角色内存，而面向角色的交叉注意力则检索这些角色内存并将其注入到同一角色的局部标记中。在视频生成基准上的实验表明，SlotMem在保持视频质量的同时增强了长程角色一致性。