研究人员推出了一种名为 Meta Neural Cellular Automata (MetaNCA) 的新框架，该框架旨在学习能够自我组织人工神经网络权重的局部规则。该方法利用一个学习到的规则网络，采用带有线性注意力的 Weight Transformer，通过计算图上的局部交互来迭代更新任务网络权重。MetaNCA 已证明其能够为包括 MLP、CNN 和 ResNet 在内的各种网络架构生成权重，并在 MNIST 和 CIFAR-100 等数据集上进行训练，参数量可扩展至 200 万。值得注意的是，该框架在训练过程中未遇到的架构上表现出泛化能力，而训练架构的多样性增强了这种泛化能力。 AI
影响 这项研究有可能在不依赖传统反向传播的情况下创建多样化的神经网络架构，从而可能简化模型开发。
排序理由 该集群包含一篇详细介绍神经网络权重生成新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
