Weight Transformer

MetaNCA 学习自我组织神经网络权重

研究人员推出了一种名为 Meta Neural Cellular Automata (MetaNCA) 的新框架，该框架旨在学习能够自我组织人工神经网络权重的局部规则。该方法利用一个学习到的规则网络，采用带有线性注意力的 Weight Transformer，通过计算图上的局部交互来迭代更新任务网络权重。MetaNCA 已证明其能够为包括 MLP、CNN 和 ResNet 在内的各种网络架构生成权重，并在 MNIST 和 CIFAR-…