EventMemAgent

EventMemAgent框架通过分层记忆增强在线视频理解能力

研究人员推出了一种新颖的框架EventMemAgent，专为在线视频理解而设计，以应对多模态大语言模型（MLLMs）中有限上下文窗口的挑战。该代理框架利用分层记忆系统，包括用于事件边界检测和动态缓冲区采样的短期记忆组件，以及用于结构化存档过去观察的长时记忆。它还集成了多粒度感知工具包和代理强化学习，以实现推理和工具使用策略的端到端学习。