Visual Semantic Decoding

新的深度学习模型解码大脑活动中的视觉感知

研究人员开发了从大脑活动中解码视觉语义信息的新型深度学习方法。一项研究利用基于Transformer的端到端深度学习框架和皮层脑电图（ECoG）数据来预测视频刺激中的视觉类别，显示出有希望的结果和可解释性。另一项研究探索了使用脉冲神经网络（SNN）和功能磁共振成像（fMRI）数据进行视觉语义解码，发现SNN衍生的特征比传统人工神经网络特征更能与大脑活动对齐并提高解码准确性。