Learned-Basis LoRA

研究人员发现有效的 LoRA 写入是稀疏且结构化的

研究人员调查了大型语言模型中有效的低秩适配 (LoRA) 写入的结构，发现这些有效的写入是稀疏且集中的，而不是均匀分布在参数中。他们使用一种称为学习基 LoRA 的技术，证明了 LoRA 更新的行为影响局限于特定组件，尤其是在 q_proj、o_proj 和 down_proj 层。这种集中性表明，这些参数更新的几何形状是模型行为的关键因素，并且有针对性的稀疏修改可以达到与更广泛、结构不那么清晰的适配相同的结果。