研究人员提出了一种新颖的两阶段语言模型训练框架,该框架利用评分标准来提高在缺乏精确结果验证的任务上的性能。第一阶段,即评分标准优先的策略内蒸馏(RP-OPD),使用评分标准作为特权教师上下文进行密集的token级监督。第二阶段则采用强化学习(RL)来优化评分标准奖励,将性能推升至初始蒸馏平台之上。该方法在健康和科学任务上使用开源模型进行了评估,在HealthBench、ResearchQA和RubricHub Science等基准测试中,与标准的监督微调(SFT)后接RL相比,表现出更优异的分数。 AI
影响 该方法可以改进语言模型在复杂、开放式任务上的评估和训练。
排序理由 该集群包含一篇详细介绍语言模型新训练方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- HealthBench
- On-Policy Distillation
- ResearchQA
- RP-OPD
- Rubric-based reinforcement learning
- RubricHub Science
- supervised fine-tuning
- Hugging Face
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →