Yearick

统一的 RLVR 算法 GRPO、Dr. GRPO 和 DAPO 详解

伊利诺伊大学厄巴纳-香槟分校 Bay 和 Yearick 的一篇新论文揭示，GRPO、Dr. GRPO 和 DAPO 在单一算法下得到统一，仅在处理组内奖励标准差（σ）方面有所不同。该论文提供了精确的公式来阐明每种变体何时最有效。GRPO 除以 σ 会放大简单和困难问题的梯度，而 Dr. GRPO 使用 σ 进行自然难度加权。DAPO 通过丢弃 σ 为零的批次来优化计算，这在困难问题中很常见。