Orthogonal Projection LoRA

新的OPLoRA方法可防止LLM微调中的灾难性遗忘

研究人员推出了一种新颖的方法——正交投影LoRA（OPLoRA），以解决大型语言模型参数高效微调中的灾难性遗忘问题。该技术使用双向正交投影，确保学习到的更新不会干扰编码在主奇异值方向中的关键预训练知识。OPLoRA在数学上保证了关键预训练信息的保留，并在使用LLaMA-2 7B和Qwen2.5 7B模型进行的常识推理、数学和代码生成任务上展示了具有竞争力的性能。