VisEvent

新的ISTASTrack系统融合ANN和SNN以增强视觉跟踪

研究人员开发了ISTASTrack，一种新颖的混合跟踪系统，它结合了人工神经网络（ANN）和脉冲神经网络（SNN）来实现RGB-事件视觉对象跟踪。该系统利用基于Transformer的架构和专用的ISTA适配器，促进RGB和事件数据流之间的双向特征交互。该方法旨在有效地融合来自这些异构源的信息，从而在基准数据集上实现最先进的性能和高能效。