Hongli Zhou

新框架从生成式大语言模型中蒸馏奖励模型

研究人员推出 RM-Distiller，一个用于从生成式大语言模型 (LLM) 中蒸馏奖励模型 (RM) 的新颖框架。与先前将教师 LLM 视为简单标注者的方法不同，RM-Distiller 利用 LLM 的精炼、评分和生成能力来创建更有效的 RM。该方法综合了细粒度的偏好信号，捕捉了精确的偏好强度，并保留了语言知识，从而在 RM 基准测试和对齐方面取得了显著改进。