Nemotron Nano 12B

新的蒸馏方法在不损失性能的情况下降低了LLM的训练成本

研究人员开发了一种更有效的方法，将大型语言模型（LLM）的知识蒸馏到更小的模型中。这种被称为“有效的教师支持”的技术，涉及仅使用教师模型最高概率词汇量的一小部分进行蒸馏，而不是全部词汇量。使用Qwen3和Nemotron Nano模型的实验表明，这种方法，特别是在0.01%的词汇量支持下，在MMLU-Pro等基准测试中保持了性能，同时显著减少了训练时间和内存使用。