CARE-LoRA 框架提高了大型模型微调的内存效率

研究人员推出了一种新颖的 CARE-LoRA 框架，旨在提高大型预训练模型微调过程中低秩适配 (LoRA) 的内存效率。CARE-LoRA 通过压缩和重建反向传播过程中的激活来解决激活引起的内存瓶颈。该方法利用了 LoRA 内在的低秩结构，从而能够以极小的额外计算成本训练 LoRA 矩阵。实验表明，与标准的 LoRA 及其变体相比，CARE-LoRA 在显著降低内存使用的同时，还能保持甚至提高性能。 AI

影响 该方法可以使在内存有限的硬件上更有效地微调大型模型成为可能。

排序理由 该项目是一篇研究论文，详细介绍了一种新的参数高效微调方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CARE-LoRA
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• LoRA
• parameter-efficient fine-tuning
• ScienceCast

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →