研究人员推出了EgoMemReason,这是一个新的基准,旨在测试多模态大语言模型(MLLMs)和代理框架在理解长时域自主视频方面的记忆能力。该基准侧重于三种类型的记忆:实体、事件和行为,要求模型整合跨越数天的信息来回答问题。目前最先进的模型在EgoMemReason上表现不佳,准确率仅为39.6%,表明长上下文记忆仍然是AI系统的一个重大挑战。 AI
影响 为AI中的长上下文记忆设定了新的评估标准,这对于开发先进的视觉助手和具身代理至关重要。
排序理由 该集群包含一篇介绍新颖AI系统评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →