Object-Pixel-Hybrid Learning

新的EVIS系统按事件分割视频，以增强理解能力

研究人员开发了EVIS，一个面向指代视频分割的事件感知指令助手。这种新方法通过将视频分解为不同的事件来解决现有方法的局限性，从而实现更细粒度的理解。EVIS利用文本引导的事件查询来划分视频，并提取事件感知的视觉-文本特征以进行分层理解。该系统还结合了对象-像素混合学习，通过结合像素和对象查询特征来增强长视频中的目标跟踪。在多个基准测试上的实验表明，EVIS在指代视频分割方面取得了强大的性能。