LoRA（Low-Rank Adaptation，低秩适应）是一种显著降低大型语言模型微调计算成本的技术。LoRA冻结原始权重，并学习一个低秩更新矩阵，而不是训练所有模型权重。这种方法大大减少了优化器和梯度所需的内存，使得在消费级GPU上微调大型模型成为可能。该方法由Hu等人的一篇论文详细介绍，其依据是观察到微调期间的模型更新通常本质上是低秩的。 AI
影响 LoRA使得在较低性能的硬件上微调大型语言模型成为可能，从而使模型定制的访问民主化。
排序理由 该条目描述了一种用于微调LLM的技术方法（LoRA），并引用了一篇具体的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
