实体
Bridged Self-Distillation
Bridged Self-Distillation
PulseAugur coverage of Bridged Self-Distillation — every cluster mentioning Bridged Self-Distillation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Bridged Self-Distillation 框架统一了 LLM 知识迁移
研究人员引入了 Bridged Self-Distillation (BSD)，一个旨在将推理能力从强大的教师模型迁移到小型学生模型的新框架。BSD 通过使用一种统一的方法来解决模仿难度和 token 级概率兼容性不匹配的问题，该方法适用于任何提供推理轨迹的教师模型。该框架采用外部教师生成特权上下文，并使用自教师（学生模型的副本）在学生的 token 空间中对 rollout 进行评分，并根据此指导调整更新。该方法在基础模型之上进行了…
-
Bridged Self-Distillation Unifies On-Policy Reasoning Transfer
研究人员推出了一种名为桥接自蒸馏（BSD）的新型框架，旨在将任何教师模型的策略内推理迁移到一个更小的学生模型。BSD通过使用外部教师的特权推理轨迹，解决了模仿难度和令牌级概率兼容性不匹配的问题。一个自教师（学生模型的副本）在学生模型的令牌空间中对回放进行评分，并通过结果验证来指导不成功回放的更新。这种统一的方法适用于各种教师场景，包括共享分词器、跨分词器和闭源API教师，其性能优于现有基线。