Zixin Wen

RLVR训练动态揭示了推理模型中的隐式课程

研究人员开发了一种理论，解释了可验证奖励强化学习（RLVR）如何帮助大型推理模型克服长时域挑战。他们的分析表明，RLVR训练自然遵循一个隐式课程，即先掌握较容易的问题，然后为更难的问题铺平道路。这种学习进程受到问题难度谱平滑度的影响，平滑过渡会导致稳定的“接力模式”，而突然的不连续会导致类似“grokking”的相变。该研究还引入了从有限群上的傅里叶分析改编的新技术来支持其理论框架。