Structural Distillation

新理论赋能模块化训练鲁棒大语言模型

研究人员开发了一个理论框架，通过组合较小的、特定领域的专家模型来模块化训练大语言模型（LLMs）。该方法旨在实现与单体模型相当的性能，同时在各种数据混合中提供鲁棒性，无需进行启发式调整。该框架利用门控机制，并被表述为一个极小极大博弈，具有模块化作为强大正则化器的理论保证。所提出的方法可能优于在聚合数据上重新训练的模型，并引入了一种新的算法和蒸馏技术以实现高效实现和经验验证。