一位Reddit用户正试图复现OpenAI的“持续有益模型”研究，但在使用GRPO安装所需特质时遇到了困难。该用户的GRPO训练运行仅在特质上取得了+2.4点的微小增长，远未达到所需的约+15点。用户排除了奖励破解、记忆和死梯度等常见问题，一位合著者建议使用的不同特质提示数量（20个）可能太少。用户正在寻求关于提示数量、评分标准以及风格特质是否与任务导向型特质安装方式不同等方面的建议。 AI
影响 凸显了在模型对齐方面复现先进RLHF技术的挑战。
排序理由 用户试图复现已发表研究论文的发现并寻求社区帮助。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
