Factorized Visual Ego-Transitions

EgoSIS 适配器通过运动规范视觉证据增强无人机推理能力

研究人员开发了 EgoSIS，这是一种新颖的适配器，旨在利用仅 RGB 的视频输入增强无人机 (UAV) 的推理能力。该系统分三个阶段处理视觉数据，将双向流转换为运动规范视觉证据。这种方法将相机运动与场景变化分离开来，为多模态模型提供了一个稳定的参考。EgoSIS 在 SIS-Bench 基准测试中表现出显著的改进，尤其是在自我意识感知和记忆方面，为光流和空间推理之间提供了一个可解释的接口。