orthogonal fine-tuning

参数高效微调方法：一项比较研究

一篇新的arXiv论文研究了参数高效微调（PEFT）方法，比较了包括LoRA系列方法和DoRA在内的六种技术。研究发现，虽然谱保持通常被认为是关键优势，但许多PEFT方法已经近似了这一点，显式的几何保持可能并非严格必需。研究突出了不同方法在适应性和保留性之间的明显权衡，其中LoRA显示出良好的平衡，DoRA取得了更高的分数，而PiSSA则带来了更大的保留成本。干预措施表明，对主导谱分量的修改对于降低通用文本困惑度和基础图像漂移最为有效。