PulseAugur
实时 11:42:01
实体 Logit Distillation on Manifolds

Logit Distillation on Manifolds

PulseAugur coverage of Logit Distillation on Manifolds — every cluster mentioning Logit Distillation on Manifolds across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_65505 ·

    对数蒸馏方法以集成精度训练更小的模型

    研究人员开发了一种名为“流形上的对数蒸馏”的新方法,通过训练一个单一的、更高效的学生模型来模仿多样化的教师模型集成体的预测,从而提高机器学习模型的性能。该方法使用投影映射来对齐高维嵌入空间中的表示,将可训练参数显著减少到教师模型参数的1%以下。与其他的蒸馏技术相比,该方法在词错误率方面表现出改进,并且与混合专家模型不同,它允许快速并行训练。