研究人员推出了一种名为无界正非对称优化（Unbounded Positive Asymmetric Optimization, UP）的新型目标函数，旨在改进大型语言模型（LLMs）的强化学习（RL）。UP通过重构优化过程来解决标准RL算法固有的探索-稳定性困境。这种方法允许正优势梯度无裁剪，从而最大化探索，同时保持对负优势的裁剪以防止不稳定性。实验表明，UP在各种RL算法、模型架构和训练模式下都能增强探索和推理准确性。 AI
影响 这项新的优化技术有望实现更稳定、更有效的LLM训练，以应对复杂的推理任务。
排序理由 该集群包含一篇学术论文，详细介绍了一种用于LLM强化学习的新优化方法。[lever_c_demoted from research: ic=1 ai=1.0]
- DAPO
- GRPO
- large language models
- Probability Capacity
- reinforcement learning
- Unbounded Positive Asymmetric Optimization
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
