MSGAT

新型MSGAT模型利用节能SNN增强图文检索能力

研究人员开发了MSGAT，一种新颖的多头脉冲图注意力网络，专为节能图文检索而设计。该方法利用脉冲神经网络（SNN）来捕捉语义结构和多粒度关系，克服了先前依赖局部对齐的SNN方法的局限性。MSGAT采用一种称为Sim-Fuse的相似度空间融合策略，在不直接融合的情况下整合异构表示，从而在Flickr30K和MSCOCO数据集上提高了性能。基于SNN的方法在显著降低能耗的同时，取得了与人工神经网络（ANN）相当或更优的结果。