VJEPA-2

新框架将工作场所视频分割成结构化程序化记忆

研究人员开发了一个新框架，用于理解长时域的自我中心和外中心视频数据中的程序化信息。该框架将连续的多模态工作场所视频转换为结构化的程序化状态记忆，称为工作环境模型（WEM）。它根据视觉上下文、位置、运动、叙述、注视、物体交互和外中心工作空间证据的变化来分割视频，并将每个片段抽象成一个与证据相关联的事件卡。然后，这些事件卡用于逐步更新WEM，从而在遵守本地隐私限制的同时，实现紧凑、可审计的文档记录和检索。