CARE-LoRA

CARE-LoRA 框架提高了大型模型微调的内存效率

研究人员推出了一种新颖的 CARE-LoRA 框架，旨在提高大型预训练模型微调过程中低秩适配 (LoRA) 的内存效率。CARE-LoRA 通过压缩和重建反向传播过程中的激活来解决激活引起的内存瓶颈。该方法利用了 LoRA 内在的低秩结构，从而能够以极小的额外计算成本训练 LoRA 矩阵。实验表明，与标准的 LoRA 及其变体相比，CARE-LoRA 在显著降低内存使用的同时，还能保持甚至提高性能。