PulseAugur
中
实时 06:50:22
实体 Switch Distillation

Switch Distillation

PulseAugur coverage of Switch Distillation — every cluster mentioning Switch Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_231445 ·

    大型语言模型跨语言知识迁移有限，新的蒸馏方法偏重推理 · 跟踪2个来源

    两篇新研究论文探讨了大型语言模型如何获取和保留知识。第一篇论文研究了跨语言的事实知识迁移，发现模型从英语到波斯语的迁移有限，尤其是在训练数据中移除了特定事实时。第二篇论文研究了知识蒸馏技术，提出了“Switch Distillation”，该技术通过基于教师置信度和预测熵进行路由，在训练中期偏重推理而非事实回忆。