Q/K/V projection weights

新方法探测 VLM 视觉编码器以进行最优 PEFT 层选择

研究人员开发了一种在新方法，用于在参数高效微调（PEFT）期间选择视觉语言模型（VLM）的视觉编码器中的最优层。该方法分析了 Q/K/V 投影权重的统计特性及其对扰动的鲁棒性。跨多个基准测试和 PEFT 变体的实验表明，具有较大权重范数和较高条件数的层往往更具适应性，并带来更大的微调收益，这表明这些预微调指标可以指导层选择，以在可训练参数更少的情况下提高性能。