Natural Scenes Dataset
PulseAugur coverage of Natural Scenes Dataset — every cluster mentioning Natural Scenes Dataset across labs, papers, and developer communities, ranked by signal.
-
新的VAE可在无共享刺激的情况下跨主体对齐神经活动
研究人员开发了一种新颖的多编码器-解码器变分自编码器（MED-VAE），该模型可以在不同主体之间对齐神经活动，而无需共享刺激。该方法将表示锚定到预训练的人工神经网络，从而能够发现共享的计算原理和可泛化的解码器。使用自然场景数据集进行的实验表明，MED-VAE创建了语义组织的公共潜在空间，在跨主体对齐和对新刺激的稳健泛化方面优于传统方法。
-
TRIBE v2模型利用合成数据提升脑部图像解码能力
研究人员开发了一种方法，通过用合成数据增强有限的fMRI数据集来改进脑部图像解码。他们利用TRIBE v2，一个在超过1000小时fMRI响应上训练的大型模型，来生成这些合成数据。在两个数据集上的实验显示，与仅使用真实数据相比，图像检索准确率提高了68%，证明了大型模型在脑部解码任务中提高数据效率的潜力。
-
基于Mamba的新模型将图像映射到大脑活动
研究人员开发了CHASMBrain，一种用于将图像编码为fMRI数据的新分层框架。该模型使用双流Mamba架构来区分全局语义信息和局部空间细节，模仿了人类视觉皮层。在Natural Scenes Dataset上的实验表明，CHASMBrain的表现优于现有方法，实现了0.429的皮尔逊相关系数和0.261的均方误差。进一步分析表明，该模型的patch流与早期视觉处理相关，而CLS流为更高级别的大脑区域提供了更广泛的语义背景。
-
新NeurIPS框架利用解剖先验增强脑解码
研究人员开发了一个名为NeurIPS的新框架，利用fMRI数据改进脑解码。该方法将解剖变异重构为预测信号，超越了当前解码器中常见的性能-保真度权衡。NeurIPS包含了一种新颖的球形分词器，用于高效的几何编码，以及一种结构引导的专家混合模型，用于模拟个体解剖结构。该框架在基于表面的解码器方面取得了最先进的性能，与高效的1D基线相匹配，但收敛速度更快，并且需要更少的数据进行受试者适应。
-
新框架评估视觉模型与人脑反应的一致性
研究人员开发了一个新框架，用于评估人工智能视觉模型与人脑视觉皮层的一致性。该方法超越了简单的预测准确性，分析了模型恢复了大脑反应的哪些特定维度。通过使用受试者观看图像时的功能性磁共振成像（fMRI）数据，该研究确定了视觉皮层中可重复的反应维度，并评估了模型和其他大脑恢复这些维度的有效性。研究结果表明，仅凭预测准确性可能会掩盖不匹配之处，而这种新方法为模型-大脑一致性提供了更具诊断性的评估。
-
脑部扫描揭示人类视觉皮层表征中共享的几何结构
研究人员证明，人脑对视觉刺激的表征呈现出共享的潜在几何结构。他们利用功能性磁共振成像（fMRI）数据和一种自监督编码器，学习了特定于个体的嵌入，并表明这些嵌入可以通过无监督的几何变换在个体之间进行转换。这表明视觉皮层中的神经表征近似等距，并且与通用的坐标系统兼容，有可能将柏拉图式表征的概念扩展到人工神经网络之外。
-
StableMind 通过正则化自适应框架改进功能磁共振成像解码
研究人员开发了 StableMind，一个用于解码功能磁共振成像 (fMRI) 数据的新框架。该方法通过提高大脑表征的稳定性和图像监督的可靠性，解决了在数据有限的情况下将模型适应新主体所面临的挑战。StableMind 利用大脑数据的自适应先验和基于傅立叶的增强，以及用于对齐的难度感知图像模糊，在图像和大脑检索任务中取得了更高的准确性。