Kangcong Li

FreshMem 为流式视频大语言模型引入脑启发式记忆

研究人员推出 FreshMem，这是一种新颖的记忆网络，旨在增强多模态大语言模型（MLLMs）的流式视频理解能力。FreshMem 受到人脑记忆过程的启发，采用频率-空间混合记忆方法来维持连续视频流中的短期细节和长期连贯性。该系统包括一个用于表示历史上下文的多尺度频率记忆模块和一个用于情景聚类的空间缩略图记忆模块，在应用于 Qwen2-VL 模型时，显著提高了在 StreamingBench 和 OV-Bench 等基准测试上的性能。