AIME 24/25

研究发现：数据重复在大型语言模型微调中优于数据扩展

一项新的研究论文表明，对于推理语言模型的监督微调，数据重复比数据扩展更有效。研究发现，在较小的数据集上训练更多轮次，即使达到完全记忆的程度，也能在 Olmo3-7B 模型上针对 AIME'24/25 和 GPQA 等基准测试中获得更好的泛化能力。这种方法优于在更大的数据集上训练一轮，证明了 token 准确性可以作为 SFT 的可靠停止标准。