一位机器学习从业者尝试将GRPO（Proximal Policy Optimization）算法应用于三个不同规模、从头开始训练的大型语言模型。虽然预训练显示出规模带来的预期改进，但GRPO微调阶段产生了不一致甚至有害的结果。最小的模型（353M参数）影响甚微，而一个稍小的模型（316M参数）的困惑度（perplexity）显著下降，最大的模型（672M参数）则出现了轻微的性能下降。 AI
影响 GRPO微调产生的不一致结果表明，需要进一步研究以了解其在不同模型规模和训练设置中的应用。
排序理由 该项目详细介绍了一项关于特定大型语言模型训练技术（GRPO）及其在不同模型规模上结果的实验，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
