CapMem

新的CapMem基准测试用于自我中心视频的基于字幕的记忆

研究人员推出CapMem，这是一个旨在评估可穿戴助手在自我中心视频中的偶发记忆能力的新基准。该基准包含75个视频和1000个问题，探讨了在当前视觉语言模型处理长视频上下文和高令牌成本受限的情况下，文本字幕是否能有效作为可重用记忆。初步结果表明，对于许多模型而言，在较长视频上，基于字幕的问答优于直接视频问答，而通过字幕引导的检索和验证系统可以进一步改进。