Group-in-Group Policy Optimization

Muon 优化器在 Agentic 强化学习任务中展现出潜力

一篇新的研究论文探讨了 Muon 优化器在 Agentic 强化学习 (RL) 任务中的有效性，特别是在稀疏奖励环境中的应用。该研究使用 Qwen2.5-0.5B-Instruct 在 ALFWorld 基准测试上进行，发现将 Muon 整合到隐藏权重矩阵中，与标准的 AdamW 优化器相比，成功率显著提高。Muon 的优势被观察到取决于优势估计器和学习率等因素，特定配置可带来验证成功率的大幅提升和更快的收敛速度。