AmirHosein Fadaei

新的视频Transformer模仿灵长类动物的视觉和大脑活动

研究人员开发了一种受灵长类动物视觉和神经数据启发的、新颖的视频Transformer架构。该模型包含一个稀疏令牌选择模块，以提高效率并模仿生物视觉处理。它还采用了一种分离-融合设计，具有独立的“什么”和“哪里”流，在分类前将它们合并。该模型在标准基准测试中展示了具有竞争力的准确性和推理时间，并显示出与EEG数据改进的大脑-模型相关性，表明其在脑对齐视频理解方面的有效性。