Dominant-Layer ZO

单个LLM层主导零阶微调

研究人员发现，在使用零阶（ZO）优化时，微调大型语言模型（LLM）的单个层与微调整个模型一样有效。通过在训练前分析激活值异常值来识别出的这个主导层，在各种任务和模型系列中，其效果始终能媲美甚至超越全模型ZO微调。主导层的有效性源于其高扰动敏感性和在残差流中的早期位置，这使得优化信号能够高效传播。该方法显著加快了速度，实验显示训练速度提高了4.52倍，同时保持或提高了性能。