Nicolas Anguita

新理论解释预训练如何塑造机器学习模型的微调

研究人员开发了一个理论框架，以解释预训练如何影响机器学习模型微调过程中的归纳偏差。他们对对角线线性网络进行的分析，根据初始化参数和任务统计数据确定了四种不同的微调模式。研究表明，网络早期层中较小的初始化尺度可以增强特征重用和精炼，从而在利用预训练特征子集任务上获得更好的泛化能力。这些发现通过在 CIFAR-100 和 SVHN 数据集上使用 ResNets，以及在模块化算术任务上使用 Transformers 得到了经验验证。