MathQA

新研究揭示有效的 LoRA 写入具有稀疏性和结构性

研究人员发现，语言模型中有效的低秩适应 (LoRA) 更新出人意料地是稀疏且结构化的，而不是均匀分布在参数上。他们使用一种称为学习基 LoRA (Learned-Basis LoRA) 的技术证明，这些更新的特定子集，尤其是在后期投影组件中，对模型行为产生不成比例的巨大影响。这表明关注这些集中的区域可以带来更有效的微调，并加深对模型如何学习的理解。