Nicolas Ewen

模型投影实现神经网络架构继承

研究人员引入了一种称为模型投影的方法，以实现不同神经网络架构之间的有效迁移学习。该技术允许广义卷积网络（GCNN）的属性被广义前馈网络（GFFN）继承。通过冻结卷积子函数并学习标量系数，模型投影创建了一个类似于GFFN的可训练结构，从而促进了参数高效的迁移学习。在ImageNet预训练模型上的实验表明，这种方法与现有的迁移学习方法相比具有竞争力，并可作为下游任务微调的有力初始化。