PulseAugur
中
实时 09:19:05
English(EN) Reinforcement Learning-based Semi-supervised Knowledge Distillation with LLM-as-a-Judge

LLM-as-a-Judge框架通过新颖的奖励系统提升AI推理能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新颖的半监督学习框架，该框架利用大型语言模型（LLM）作为裁判来将知识蒸馏到AI模型中。该方法采用连续的思维链（CoT）奖励，该奖励由裁判LLM的输出来计算，为未标记数据提供有效的训练信号。该框架在利用地面真实奖励的方法方面，表现出相当或更优的性能，尤其是在未标记数据增加的情况下。将这种基于LLM的奖励与半监督设置中的可验证奖励相结合被证明具有协同作用，在各种任务和模型架构中将数学推理能力提高了5-10%。 AI

影响 这项研究可能通过利用LLM生成奖励，从而实现更高效的复杂推理任务AI模型训练。

排序理由 该集群包含一篇详细介绍改进AI模型推理新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM-as-a-Judge框架通过新颖的奖励系统提升AI推理能力

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Yiyang Shen, Lifu Tu, Weiran Wang ·

    基于强化学习的半监督知识蒸馏与LLM作为裁判

    arXiv:2604.02621v2 Announce Type: replace Abstract: Reinforcement Learning (RL) substantially improves the reasoning capabilities of language models, but most existing RL fine-tuning approaches rely entirely on ground-truth verifiable rewards and thus labeled datasets with verifi…

相关实体

相关话题