PulseAugur
中
实时 08:34:10
English(EN) Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

新的RIPO算法增强了LLM强化学习

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的强化学习算法——黎曼等距策略优化（RIPO），旨在解决大型语言模型（LLM）中的探索崩溃问题。该算法纠正了现有方法（如PPO-Clip）的一个根本性缺陷，这些方法在策略的黎曼流形上错误地使用了欧几里得度量，导致更新不平衡。RIPO确保了等距策略更新，从而稳定了优化并改善了偏差-方差权衡。实验表明，RIPO在LLM强化学习算法方面显著优于其他算法，在AIME24基准测试上取得了高达60%的提升。 AI

影响 这项新算法可能导致LLM在复杂推理任务上的训练更加有效，从而可能提高在需要复杂问题解决能力的基准测试和应用中的性能。

排序理由 该集群包含一篇详细介绍LLM强化学习新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的RIPO算法增强了LLM强化学习

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Mingxuan Wang, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou ·

    Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

    arXiv:2607.10169v1 Announce Type: cross Abstract: Reinforcement learning (RL) has become a dominant paradigm for enhancing LLMs' reasoning capabilities. However, RL algorithms with PPO-Clip are inherently limited by exploration collapse. Subsequent works remain primarily heuristi…

相关实体

相关话题