LoRA-TSD

新的LoRA-TSD优化器为LLM提供更快、更鲁棒的微调

研究人员推出了一种新颖的大型语言模型微调优化器LoRA-TSD。该方法将每次更新视为固定秩矩阵流形上的切向量，并在该切空间内执行谱范数最速下降步。LoRA-TSD提供了一种比先前基于流形的方法便宜高达2.8倍的回缩方法，并在自然平稳性度量下为LoRA训练提供了首个全局收敛保证。在Llama-3.2-1B和Qwen3-32B等模型上的六个基准测试实验表明，LoRA-TSD的性能优于现有的LoRA优化器。