研究人员推出了一种新颖的低秩适应方法 GeoRA，该方法专门为具有可验证奖励的强化学习 (RLVR) 设计。与现有的专注于监督微调的方法不同，GeoRA 考虑了 RLVR 中固有的独特优化动态和几何结构。通过利用奇异值分解提取 RL 更新子空间的主方向，GeoRA 有效地保留了预训练模型的结构，同时实现了高效的计算。在 Qwen 和 Llama 模型上的实验表明，GeoRA 在数学、医学和编码等各种 RLVR 任务中优于其他低秩适应技术，同时在域外数据集上还表现出更强的泛化能力和更少的遗忘。 AI
影响 GeoRA 对 RLVR 的定制化方法可以提高大型语言模型在各个领域的推理能力和效率。
排序理由 该集群包含一篇详细介绍适应大型语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Jiaying Zhang
- Llama
- Qwen
- Reinforcement Learning with Verifiable Rewards
- singular value decomposition
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
