SimpleRL

RLVR在LLM中的收益可能源于答案格式，而非能力提升

一篇新论文对强化学习可验证奖励（RLVR）在大语言模型中报告的收益提出了质疑，认为在MMLU等域外任务上的改进很大程度上归因于答案格式化，而非真正的能力增强。研究人员发现，当答案提取方法调整为在文本任意位置查找答案，而不只是在特定框内查找时，报告的收益显著减少。这表明RLVR过程可能主要是在教授模型将答案置于提取器偏好的格式中，而不是提高其根本的推理或知识能力。