CrossGMN

新型图元网络实现跨架构模型转换

研究人员开发了图元网络（GMNs），可以直接操作神经网络的参数，从而实现预测模型属性和转换已训练模型等任务。CrossGMN模型通过处理源网络和目标网络来专门解决跨架构转换问题，例如模型压缩。这种方法可以加快知识蒸馏的速度，并且无需重新训练即可在不同数据集之间进行迁移。此外，可迁移图元网络增强了GMNs，以在不同网络宽度下实现更好的泛化能力，尤其是在最大更新参数化（$\mu$P）下训练的网络。