Manifold-LoRA

新研究探索用于LLM的优化LoRA微调方法 · 跟踪4个来源

研究人员正在探索优化低秩适配（LoRA）以微调大型语言模型的新方法。一种方法，统一LoRA（ULoRA），引入了一个可预训练梯度初始化的连续体，该连续体可以针对特定任务进行调整，潜在地匹配或超越完全微调的性能。另一种方法，Manifold-LoRA，将LoRA重新表述为流形优化问题，使用无回缩算法来加速训练并提高下游性能。此外，一种相似性度量方法侧重于仅微调最相关的层，在性能损失最小的情况下将可训练参数减少多达50%。最后，一个称为“…