实体 Andrey Goncharov

Andrey Goncharov

PulseAugur coverage of Andrey Goncharov — every cluster mentioning Andrey Goncharov across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_303507 · Oct 16 · 04:00

新的蒸馏方法提高了小型语言模型的推理能力

研究人员开发了一种新的方法，可以将大型语言模型的推理链蒸馏到小型模型中，即使在无法完全访问教师模型的情况下也是如此。这种递归离线蒸馏技术结合了基于熵的采样来选择性地选择推理链，以及答案混合来用真实数据进行补充。对三个小型开放模型的实验表明，这种方法显著优于朴素蒸馏，在可比的数据预算下实现了更好的性能，并且学习曲线更快。