Alessio Quercia

新的LoRA+方法平衡模型性能与知识保留

研究人员推出了一种名为LoRA+的新方法，用于微调大型预训练模型，旨在改善特定任务性能与保留预训练知识之间的平衡。该方法侧重于微调权重矩阵的中间主成分，研究发现这比针对第一或最后一个成分的方法能提供更好的权衡。在各种计算机视觉和自然语言处理任务上的实证研究表明，LoRA+在减少原始知识遗忘的同时实现了更高的准确性，为LoRA方法的初始化提供了实用指南。