Aghajanyan et al.

LoRA 微调详解：为什么低秩能有效适配大语言模型

本文解释了大语言模型微调的内在低秩假设，详细说明了 LoRA 等技术如何在不改变原始权重的情况下适配模型。文章阐明，LoRA 的表达性更新仅限于秩 r 的子空间，这意味着如果更高的秩超过了任务的内在秩，性能不一定会提高。作者提供了一个可运行的脚本和实证结果，以展示 LoRA 的秩如何影响其拟合必要更新子空间的能力，并表明过度参数化会导致噪声。