Dense-LRC

新的蒸馏方法通过训练已部署的权重来提高AI模型效率

研究人员开发了新的方法，Dense-LRC和CORE-LRC，通过确保训练的权重与已部署的权重相同来提高模型蒸馏的效率。这种方法解决了现有的低秩克隆（LRC）蒸馏器在训练过程中留下大量已部署MLP矩阵不可达的问题。新方法恢复了这种被浪费的容量，从而在Llama3.2 3B和Qwen2.5-3B等各种教师模型上获得了显著的准确性提升，并在令牌效率方面取得了显著改进。