Gemma3-1B-PT

新的CSD方法增强了AI模型在不同分词器之间的知识迁移能力

研究人员开发了一种名为通用支持蒸馏（CSD）的新方法，以改善具有不同分词器的AI模型之间的知识迁移。CSD在教师模型和学生模型之间构建了一个共享的支持，使它们能够比以前的方法更有效地相互学习。在实验中，CSD在各种学生模型（如Llama-3.2-1B和Gemma3-1B-PT）与Qwen和Phi等教师模型进行训练时，始终优于其他跨分词器蒸馏技术，并显示出显著的性能提升。