PulseAugur
中
实时 22:27:51

研究发现LoRA秩分配在RL微调中失败

作者 PulseAugur 编辑部 · [1 个来源] ·

一项关于Qwen 2.5 1.5B模型的新研究表明，在监督微调中有效的自适应秩分配技术，在采用Group Relative Policy Optimization (GRPO) 的强化学习中并不适用。研究人员发现，与均匀分配相比，GRPO下的比例秩分配使准确率降低了4.5个百分点。这归因于GRPO中更平坦的梯度景观，所有层都保留有意义的梯度信号，以及梯度放大效应进一步扩大了重要性差异，导致低秩层被静默。 AI

影响 研究结果表明，当前监督学习的微调方法可能不直接适用于对齐训练，可能需要新的方法来进行基于RL的微调。

排序理由 学术论文，详细介绍了模型微调技术的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现LoRA秩分配在RL微调中失败

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Yash Ganpat Sawant ·

    GRPO下基于梯度的LoRA秩分配：一项实证研究

    Adaptive rank allocation for LoRA, allocating more parameters to important layers and fewer to unimportant ones, consistently improves efficiency under supervised fine-tuning (SFT). We investigate whether this success transfers to reinforcement learning, specifically Group Relati…

相关实体

相关话题