Visual Cortex
PulseAugur coverage of Visual Cortex — every cluster mentioning Visual Cortex across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的DRAFT方法从fMRI和相机数据重建3D房间布局
研究人员开发了一种名为DRAFT的新颖方法，该方法仅使用功能性磁共振成像（fMRI）信号和相机轨迹即可重建房间的3D布局，而无需依赖视觉帧。该技术从早期视觉皮层提取紧凑的布局表示，并将其与相机运动的几何信息相结合。DRAFT在未见过的场景上达到了0.480的皮尔逊相关系数，优于现有的fMRI解码器和单独的相机路径，并且还可以作为插件增强其他解码器的性能。
-
新研究揭示神经网络中的子空间级模块化
一篇新的研究论文提出了一个框架，用于识别超越单个神经元专业化的神经网络中的模块化。该研究引入了三个模块化级别：单元级、正交级和线性级，并通过选择性消融开发了评估它们的方法。在视觉、语言和循环神经网络中的发现表明，虽然单个神经元可能没有专业化，但功能模块化通常存在于子空间级别。这种子空间级模块化允许对特定计算进行有针对性的干预，对机械可解释性以及理解人工智能和生物神经网络系统中的功能组织具有重要意义。
-
新研究探讨视觉 Transformer 中适配器放置的最优解
研究人员探索了两种不同的方法来优化持续学习模型（特别是在视觉 Transformer 中）中特定任务适配器的放置。一种方法是放置搜索，涉及在各种块配置中训练适配器，并观察到倒 U 形的准确率曲线，在中间深度达到峰值。另一种受神经科学启发的方法，利用来自视觉皮层的脑功能成像 (fMRI) 读出数据来指导适配器分配，无需广泛搜索，即可在减少存储和运行时间的情况下实现具有竞争力的性能。
-
AI视频生成更好地与人眼视觉皮层对齐
研究人员开发了一种新方法，通过将视频生成模型的内部表征与人眼视觉皮层活动进行比较来评估模型。他们发现，自回归（AR）视频扩散模型在生成未来视频帧时，比处理观察视频的模型更能与人眼视觉皮层对齐。与用于观察视频重建的低阶区域相比，这种对齐在未来生成中更高阶的视觉皮层区域更为明显。一项人类行为实验进一步支持了这些发现，显示出人们更偏好通过放大与视觉皮层活动更匹配的层来生成的视频。
-
新的IRIS框架分析Vision Transformers中的方向选择性
研究人员开发了一个名为IRIS的新框架，用于分析Vision Transformers (ViTs) 中方向选择性的产生方式。该框架使用受神经科学启发的指标来研究ViTs如何编码低级特征，类似于人眼视觉皮层处理信息的方式。研究发现，训练范式是影响方向选择性最重要的因素，许多单元在训练早期就变得具有选择性，而更深的层则转向语义编码。IRIS框架可以帮助跟踪ViT训练过程中受生物学启发的特征，并为如何优化层解冻以获得更好的下游泛化能力提供见解。
-
对眼部解剖结构和光学现象的详细探讨
这篇博文深入探讨了眼睛结构和功能中较少被讨论的方面，超越了入门级材料。它探讨了进化设计特征，并讨论了特定的光学现象。作者指出，虽然视网膜和视觉皮层的视觉处理过程非常吸引人，但由于篇幅限制，本文将其排除在外。文章随后详细介绍了基本的眼部解剖结构，包括角膜、房水、晶状体、玻璃体、视网膜和视神经，并解释了它们在聚焦光线和向大脑传输信号方面的作用。文章还讨论了色差，即不同频率的光在不同点聚焦的现象，并解释说人脑会补偿这种不完美，而不是眼睛本身…
-
新框架 NEvo 可合成动态视觉刺激以实现脑区选择性
研究人员开发了一个名为 NEvo 的新框架，用于合成动态视觉刺激，该刺激经过优化，可探测视觉皮层特定脑区的选择性。这种神经引导的进化方法生成的视频可最大化预测的神经活动，优于传统方法。合成的视频成功揭示了不同视觉通路中已知的选择性，并为大脑如何处理复杂的社会动态特征和时间动态提供了新见解。
-
元学习方法在人工智能中产生类人视觉表征
研究人员开发了一种新的神经网络训练方法，该方法能更好地模仿人类视觉表征学习。与在单一目标上训练的标准网络不同，这种新方法使用元学习在数千个任务上进行训练，使表征能够通过少量观察来适应新概念。元学习的表征显示出与人类相似性判断、语义规则学习以及高级视觉皮层活动的更好一致性，这表明人脑的灵活性源于需要快速学习新的语义关系。
-
OmniMouse 大脑模型随数据而非规模扩展
研究人员开发了 OmniMouse，这是一个多模态、多任务模型，在来自小鼠视觉皮层超过1500亿神经元标记上进行了训练。该模型在神经预测、行为解码和神经预测方面表现出最先进的性能，优于专业基线。与模型规模是主要驱动因素的典型人工智能扩展趋势不同，OmniMouse 的性能随数据可靠扩展，但增加模型规模的收益会饱和，这表明大脑建模仍然受限于数据。
-
新AI模型ICPNet模仿人类视觉感知幻影轮廓
研究人员开发了一种新颖的深度神经网络，即幻影轮廓感知网络（ICPNet），其灵感来源于人类视觉皮层。该网络旨在提高机器对幻影轮廓的感知能力，这是当前深度学习模型所面临的挑战。ICPNet集成了多尺度特征提取、特征交互注意力以及边缘检测模块，以增强其感知形状和轮廓的能力，并在新的测试集上显示出比现有模型显著的改进。
-
受生物学启发的神经网络利用小鼠大脑数据
研究人员通过利用MICrONS项目的数据，开发了受生物学启发的循环神经网络。该项目结合了小鼠视觉皮层电子显微镜和钙成像数据。这些网络利用了近12,000个神经元的神经元空间坐标、解剖连接和功能衍生关系来初始化权重，并在学习过程中施加空间约束。研究发现，结合了皮层结构和功能的网络在三个认知决策任务上的表现明显优于基线模型，其中功能权重初始化带来的收益最为显著。
-
AI学习机制与人脑处理方式存在差异
一项新的研究论文探讨了人工神经网络的学习方式与人脑处理视觉信息的方式之间的区别。尽管深度学习模型和人脑在表示视觉内容方面都表现出相似之处，但研究发现学习机制存在显著差异。具体而言，深度学习中使用的反向传播算法与人脑视觉皮层中观察到的层级处理方式不匹配。