MM-lifelong

GROVE框架使可穿戴助手能够回忆和使用视觉历史

研究人员开发了GROVE，一个新颖的、无需训练的框架，专为可穿戴助手设计，能够回答关于过去视觉体验的问题并主动利用这些历史。GROVE处理连续视频流，将细粒度证据整合为带时间戳的时刻、片段和跨日模式。每个记忆层都配备了检索技能，能够进行反应式问答和主动式辅助。该系统在MM-lifelong和EgoServe等基准测试中表现出色，突显了时间层及其访问技能的互补优势，尤其是在跨越数天的模式方面。