研究人员开发了一种新的方法，用于在具有可验证奖励的强化学习（RLVR）中初始化低秩适应（LoRA）矩阵。这种称为几何保持正交初始化（geometry-preserving orthonormal initialization）的方法旨在与标准LoRA以及PiSSA和MiLoRA等其他变体相比，提高训练稳定性和性能，这些变体在RLVR设置中可能表现不佳或不稳定。所提出的方法导致了新的RLPO和RLMO变体，得到了理论分析的支持，并通过在数学推理基准上的实验得到证明，显示出增强的稳定性和优越的结果。 AI
影响 这项研究可能导致对大型语言模型进行更稳定、更有效的微调，以用于强化学习任务。
排序理由 该集群包含一篇详细介绍微调大型语言模型新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.31813v1 Announce Type: cross Abstract: Low-rank adaptation (LoRA) and its variants enable parameter-efficient fine-tuning of large language models under the supervised fine-tuning (SFT) paradigm. However, their efficacy and behavior under Reinforcement learning with ve…
Low-rank adaptation (LoRA) and its variants enable parameter-efficient fine-tuning of large language models under the supervised fine-tuning (SFT) paradigm. However, their efficacy and behavior under Reinforcement learning with verifiable rewards (RLVR) are less well understood. …