OmniMem

OmniMem框架通过内存检索增强长视频生成

研究人员开发了OmniMem，一个旨在通过高效检索相关历史数据来改进长视频生成的新型框架。该方法通过采用稀疏KV检索，解决了自回归视频模型中管理大型键值（KV）缓存的挑战。OmniMem采用自适应策略来防止局部偏差和管理内存访问，从而在不过度增加内存开销的情况下实现更具信息量的长距离检索。实验表明，与现有技术相比，视频一致性和细节保留方面有了显著的改进。