Semantic Evolution Module

StreamEMS 通过自演化记忆增强视觉语言模型以进行视频理解

研究人员推出 StreamEMS，这是一种旨在通过演化视觉语言模型的记忆表征来增强流式视频理解能力的新型机制。该方法利用语义演化模块通过逐步精炼语义尺度来创建信息密度更高的记忆，并利用先验信息演化模块利用先验记忆分布来增强鲁棒性。在 OVO-Bench 和 StreamingBench 数据集上的评估表明，StreamEMS 的性能优于现有方法，尤其是在高 token 使用率下降的情况下，凸显了其有效性和弹性。