MM-lifelong

新的GROVE框架使AI助手能够推理视频记忆

研究人员开发了GROVE，一个专为可穿戴助手设计的创新框架，使其能够回答关于其过去视觉体验的问题并主动利用该记忆。与通常将回忆和控制机制分开的现有系统不同，GROVE通过从连续视频流中增长因果记忆来整合这些功能。该记忆被组织成时间层，包括细粒度感知、连贯的事件和重复的长期模式，每个层都有专门的检索技能。该框架在MM-lifelong和EgoServe等基准测试中表现出色，突显了其时间层和访问技能的互补优势，尤其是在多日模式识别方面。