imprinting

新的LLM研究解决了蒸馏、奖励建模和RL训练后问题

近期研究探讨了LLM训练后技术，包括知识蒸馏和奖励建模。一项研究表明，在不相关的任务上蒸馏模型仍然可以印刻教师的安全倾向，这表明除了纯粹的能力之外，还需要审计教师的行为。另一项开发RM-OPD，展示了一个超越其专业教师的蒸馏生成奖励模型，为有效整合多个奖励模型提供了一种方法。此外，CleanRM和VASPO等方法分别旨在改进带噪声反馈的奖励建模和提高RL训练后的效率。