Kangaslahti et al.

新研究探索用于零样本模型尺寸插值的层修补

研究人员对零样本模型尺寸插值进行了一项系统性研究，这是一种结合现有语言模型以创建中间尺寸新模型而不进行重新训练的技术。该研究探讨了选择用于修补的学生层（一种将学生层替换为连续教师层的方法）如何影响插值行为。研究结果表明，从第一层到最后一层或从最后一层到第一层的顺序修补策略通常能产生良好的结果，并且一种基于KL散度的新型贪婪算法KLPatch可以进一步提高性能。