PulseAugur
中
实时 11:32:37
实体 Branch-Merge distillation

Branch-Merge distillation

PulseAugur coverage of Branch-Merge distillation — every cluster mentioning Branch-Merge distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_10089 ·

    新的分支合并蒸馏方法创造了更小、高精度的LLM

    研究人员开发了一种名为分支合并蒸馏的新方法，用于创建更小、高性能的大型语言模型。该方法涉及将知识从大型教师模型选择性地蒸馏到专门的学生模型中，然后将这些模型合并以提高泛化能力。结果模型TinyR1-32B-Preview在数学、编码和科学基准测试中，其准确性优于其蒸馏版本，同时在特定数学测试中的表现几乎与教师模型相当。