DDRL

新的DDRL框架减少了数学推理测试时强化学习中的噪声

研究人员发现，用于数学推理的测试时强化学习（TTRL）容易受到模糊伪标签引起的噪声放大。他们观察到，具有中等一致性的响应会产生一个模糊区域，这是奖励噪声的主要来源，而这种噪声会通过群体相对优势估计进一步放大。为了解决这个问题，提出了一种名为“去偏和去噪测试时强化学习”（DDRL）的新框架，该框架使用基于频率的采样来排除模糊样本，并采用去偏优势估计来消除优化偏差。