Matryoshka Language Model Suites

Matryoshka框架嵌套语言模型以实现高效训练和推理

研究人员开发了一种名为Matryoshka的新训练框架，该框架将不同大小的语言模型嵌套到单一架构中。这种方法减少了总参数数量，并允许从大型子模型高效地蒸馏到小型子模型。Matryoshka套件包含5亿、15亿和30亿参数的子模型，在基准测试中达到了基线性能，同时训练计算量减少了36%，投机解码吞吐量提高了14-26%。该论文还详细介绍了构建有效的Matryoshka LM套件的架构选择。