EgoRAG-Text

新的R4DSG记忆系统增强了长视角视频中以对象为中心的问答能力

研究人员开发了R4DSG，一种专为长视角视频设计的新型记忆系统，用于改进以对象为中心的问答。与专注于时间定位或依赖于强3D几何的先前方法不同，R4DSG通过分离稳定锚点与动态对象并将状态变化表示为相对转换来创建可查询的记忆。这种方法保持了持久的对象身份和上下文，可直接用于回答有关对象移动、状态变化和重新定位的问题。在EgoLifeQA数据集上的评估表明，R4DSG的性能显著优于现有方法，尤其是在与时间对象状态相关的问题上。