PulseAugur
中
实时 21:36:05
实体 Recursive Improvement via Self-Extrapolating Policy Distillation

Recursive Improvement via Self-Extrapolating Policy Distillation

PulseAugur coverage of Recursive Improvement via Self-Extrapolating Policy Distillation — every cluster mentioning Recursive Improvement via Self-Extrapolating Policy Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_239265 ·

    RISE 方法通过自外推增强语言模型训练

    研究人员推出了一种新颖的、通过自外推策略蒸馏来改进语言模型训练后性能的方法——RISE。该技术利用模型自身的强化学习轨迹构建一个合成教师,将稀疏的结果诱导更新转化为密集的 token 级目标,无需外部模型。RISE 在人类反馈强化学习 (RLHF) 和 On-Policy Distillation (OPD) 之间形成一个循环,其中结果奖励指导外推,而外推的教师则优化 token 决策。实验表明,RISE 在数学推理、STEM 和代码…