Sign advantage

新的强化学习算法修复将GSM8K准确率提升45个点

研究人员在将组相对策略优化（GRPO）算法应用于二元奖励时，发现了一个关键问题，导致“梯度饥饿”。当一组中的所有响应都正确或不正确时，就会发生这种情况，导致学习信号为零。研究证明，这种退化比之前认为的更严重，并表明一个简单的修复方法，即固定参考符号优势，显著提高了性能。在GSM8K数据集上，与标准的GRPO方法相比，这种修复将准确率提高了45.4个点。