MemInStream

新的基准 MemInStream 旨在可靠地评估流式视频记忆

研究人员推出了 MemInStream，这是一个旨在更准确地评估流式视频理解模型记忆能力的新基准。现有的基准常常将问答准确性与真实的记忆保留混淆，可能将失败归因于理解问题或允许语言捷径。MemInStream 采用证据控制验证协议来隔离记忆需求，确保模型必须依赖历史上下文，而不是最近的观察或文本先验。该基准涵盖了四个关键记忆类别：情节检索、状态跟踪与更新、多证据整合和上下文记忆，为模型随时间保留和利用信息的能力提供了更可靠的评估。