研究发现自适应 LoRA 秩分配在 RL 训练中失效

一篇新的研究论文表明，自适应秩分配（对于 LoRA (Low-Rank Adaptation) 方法而言）在监督微调 (SFT) 中是有效的，但这种方法并不适用于强化学习 (RL) 环境，例如 Group Relative Policy Optimization (GRPO)。在 Qwen 2.5 1.5B 模型上使用 GSM8K 基准进行测试时，与均匀分配相比，这种自适应方法导致准确率下降了 4.5 个百分点。研究认为，RL 中更平坦的梯度景观和梯度放大效应（非均匀分配会引起正反馈循环）是导致性能下降的关键原因。 AI

影响 表明当前的微调策略可能无法直接迁移到 RL 对齐训练中，需要新的方法。

排序理由 发表在 arXiv 上的研究论文，详细介绍了模型训练技术的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Grpo
• GSM8K
• LoRA+
• Qwen 2.5 1.5B
• Shi et al.
• Yash Sawant

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →