Ravi Satya Durga Prasad Yenugula

Transformer模型转换：在不同尺寸模型间进行接线知识转移

一篇新的研究论文探讨了不同尺寸Transformer模型之间的知识可转移性，特别关注Pythia系列中将一个14亿参数模型转换为一个4.1亿参数版本。研究发现，尽管表示形式高度一致，但由于结构差异，直接参数转换具有破坏性。该研究提出了一种结合最小二乘补偿和方差保持重缩放的方法，以有效地转移知识，在显著更少的token下达到与从头训练相当的性能，尤其是在较低预算下。论文还指出了在大规模转换时的局限性，并提出维度感知正则化作为潜在解决方案。