一篇新论文提出,当前主要基于Transformer架构的AI模型在结构上存在局限性。作者认为,与具有针对不同认知功能专门结构的 人脑不同,AI模型使用了“结构单一化”。他们认为,Transformer更类似于海马体而非通用皮层,在应用于听觉或工作记忆等任务时效率低下。该论文提倡采用“异构拓扑网络”方法,即在训练前设计具有特定归纳偏置的独立模块,并通过标准化接口进行通信,这借鉴了神经科学对大脑结构的理解。 AI
影响 提出从单一的Transformer架构转向模块化、受大脑启发的模型设计,以提高AI的效率和能力。
排序理由 该集群包含一篇发表在arXiv上的研究论文,讨论了新颖的AI架构概念。[lever_c_demoted from research: ic=1 ai=1.0]
- Broca's area
- Brodmann
- convolutional neural network
- Hardware Lottery
- Heterogeneous Topological Network
- hippocampal formation
- Hippocampus
- mixture of experts
- Patch-seq
- Transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →