quadratic multi-index model

研究揭示 LoRA 在 SFT 与 RL 中的动力学，提出定制化配置

一篇新发表在 arXiv 上的研究论文详细介绍了低秩适配 (LoRA) 在监督微调 (SFT) 和强化学习 (RL) 过程中的谱和子空间动力学。研究发现，与 SFT 相比，RL 更快地集中 LoRA 的谱并旋转奇异子空间，而组均值基线减法被确定为关键的区分因素。基于这些动力学，研究人员为每个阶段提出了定制化的 LoRA 配置，并在多个模型上的数学推理任务中展示了性能提升。