Two-stage On-Policy Distillation

KuaiRP角色扮演模型在领域知识与通用能力之间取得平衡

研究人员开发了KuaiRP系列角色扮演模型，专注于简化的提示工程、稳定的输出质量、整合领域知识和高效部署。为了解决在不牺牲通用能力的情况下注入领域特定知识的挑战，他们提出了一种多阶段训练流程。这包括标准化的角色模板和SFT数据流程，然后使用基于规则的奖励函数进行强化学习以防止性能下降。最后，采用一种名为累积散度衰减的两阶段按策略蒸馏的新型自蒸馏方法来恢复通用智能体能力。