CHASMBrain

基于Mamba的新模型将图像映射到大脑活动

研究人员开发了CHASMBrain，一种用于将图像编码为fMRI数据的新分层框架。该模型使用双流Mamba架构来区分全局语义信息和局部空间细节，模仿了人类视觉皮层。在Natural Scenes Dataset上的实验表明，CHASMBrain的表现优于现有方法，实现了0.429的皮尔逊相关系数和0.261的均方误差。进一步分析表明，该模型的patch流与早期视觉处理相关，而CLS流为更高级别的大脑区域提供了更广泛的语义背景。