研究人员推出了一种名为桥接自蒸馏（BSD）的新型框架，旨在将任何教师模型的策略内推理迁移到一个更小的学生模型。BSD通过使用外部教师的特权推理轨迹，解决了模仿难度和令牌级概率兼容性不匹配的问题。一个自教师（学生模型的副本）在学生模型的令牌空间中对回放进行评分，并通过结果验证来指导不成功回放的更新。这种统一的方法适用于各种教师场景，包括共享分词器、跨分词器和闭源API教师，其性能优于现有基线。 AI
影响 该框架提供了一种统一的模型蒸馏方法，有望提高将大型AI模型的能力迁移到小型AI模型的效率和有效性。
排序理由 该集群描述了一篇介绍新型蒸馏框架的最新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Bridged Self-Distillation unifies on-policy reasoning transfer from any teacher by using privileged reasoning traces to score student rollouts and guide updates via outcome verification.
On-policy distillation can transfer the reasoning capabilities of a strong teacher to a smaller student. However, distillation from a stronger teacher model faces two mismatches: its solutions may be difficult for a smaller student to imitate, and its token-level probabilities ma…