Grounded Entity Biographies

新框架通过追踪实体传记增强了AI的长视频记忆能力

研究人员开发了一个名为“具身实体传记”（Grounded Entity Biographies, GEB）的新框架，以提高AI系统的长视频记忆能力。GEB解决了在长时间内解析物理身份和连接同一对象观察结果的挑战。通过将视觉上具身化的实例分组为可检索的传记，GEB允许模型跟踪实体经历的事件，从而在问答任务上取得更好的性能。在包括一天和一周录音的基准测试评估中显示出显著的改进，GEB在EgoLifeQA基准测试上达到了72.0%的准确率。