实体
on-policy learning
on-policy learning
PulseAugur coverage of on-policy learning — every cluster mentioning on-policy learning across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Bridged Self-Distillation Unifies On-Policy Reasoning Transfer
研究人员推出了一种名为桥接自蒸馏(BSD)的新型框架,旨在将任何教师模型的策略内推理迁移到一个更小的学生模型。BSD通过使用外部教师的特权推理轨迹,解决了模仿难度和令牌级概率兼容性不匹配的问题。一个自教师(学生模型的副本)在学生模型的令牌空间中对回放进行评分,并通过结果验证来指导不成功回放的更新。这种统一的方法适用于各种教师场景,包括共享分词器、跨分词器和闭源API教师,其性能优于现有基线。
-
新方法解决持续学习中的灾难性遗忘问题 · 跟踪8个来源
研究人员正在开发新方法来解决持续学习中的灾难性遗忘问题,即模型在学习新任务时会丢失先前获得的知识。几篇论文提出了新颖的技术,包括可学习的小波激活、技能引导的自适应记忆检索和持续蒸馏学习。其他方法侧重于表示微调、激活加权自适应保留和分组 LoRA 适配器合并,以提高模型的塑性和稳定性。这些进展旨在使模型能够更有效地进行顺序学习并适应不断变化的数据流。