Video-MemComp

新框架Video-MemComp优化MLLMs用于流媒体视频理解

研究人员开发了Video-MemComp，一个旨在增强处理流媒体视频数据的多模态大语言模型（MLLMs）内存管理的新框架。这种无需训练的方法使用泰勒展开来区分近似误差和层敏感度，从而实现动态KV缓存分配。通过优先处理高敏感度层并在预RoPE安全区域聚合token，Video-MemComp在保持MLVU、VideoMME和EgoSchema等基准测试性能的同时，显著降低了内存使用量。