Yiyang Shen

LLM-as-a-Judge框架通过新颖的奖励系统提升AI推理能力

研究人员开发了一种新颖的半监督学习框架，该框架利用大型语言模型（LLM）作为裁判来将知识蒸馏到AI模型中。该方法采用连续的思维链（CoT）奖励，该奖励由裁判LLM的输出来计算，为未标记数据提供有效的训练信号。该框架在利用地面真实奖励的方法方面，表现出相当或更优的性能，尤其是在未标记数据增加的情况下。将这种基于LLM的奖励与半监督设置中的可验证奖励相结合被证明具有协同作用，在各种任务和模型架构中将数学推理能力提高了5-10%。