PulseAugur
中
实时 14:35:30
实体 Synthetic Self-Distillation

Synthetic Self-Distillation

PulseAugur coverage of Synthetic Self-Distillation — every cluster mentioning Synthetic Self-Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_294396 ·

    新的自我蒸馏方法增强了大型语言模型的训练和持续学习能力

    研究人员开发了改进语言模型训练的新方法，特别侧重于自我蒸馏技术。一种方法 VASPO 通过整合特权信息来提高价值预测的准确性，从而增强策略优化，在 Qwen3-4B 和 OLMo3-7B 模型上显示出数学推理基准的提升。另一种方法 SynthSelf 通过使用稍大的对齐器生成合成数据来解决小模型持续学习的挑战，从而在不遗忘先验知识的情况下获得新能力。此外，一种称为 Verbal Regularization (VRSD) 的技术通过使…