研究人员分析了 LoRA 适配器输入子空间的初始方向在少样本适应中重要的条件。他们发现,当标记数据稀缺且激活子空间捕捉任务结构时,方向最为重要。这种对起点的敏感性使得任务对齐初始化在这种情况下特别有用。该研究引入了 PivotLoRA,它使用激活 PCA 初始化适配器并应用正交枢轴,在包括 BERT-base 和 Llama 解码器在内的各种分类任务和模型尺寸上均显示出优于 vanilla LoRA 的性能。 AI
影响 确定了适配器初始化方向至关重要的条件,可能提高在低数据量场景下的效率。
排序理由 该集群包含一篇学术论文,详细介绍了 LoRA 适配器的新分析和方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →