ReDiPPO

新的ReDiPPO框架提升LLM数学推理能力

研究人员推出了一种名为ReDiPPO的新型框架，旨在增强大型语言模型（LLM）的数学推理能力。该方法解决了数学任务中准确的令牌级信用分配的挑战，这些任务通常具有长推理链和稀疏奖励。ReDiPPO采用参考引导的评论家，利用参考答案进行更精确的值估计，并量化标准和参考引导估计之间的差异，以便在策略优化期间重新加权令牌优势。实验表明，ReDiPPO在数学推理性能上超越了PPO、DAPO和GSPO等现有方法。