Cosmopedia

研究人员探索通过模块化组合和分层扩展来增长 Transformer 模型

研究人员探索了一种通过向冻结的基础模型增量添加新层来训练 Transformer 模型的方法，同时保持可训练参数的恒定预算。这种被称为“Growing Transformers”的方法表明，即使只更新模型参数的一小部分，新的模块也可以被有效训练。即使在高度受限的 token 接口下，一个 16 层模型也取得了显著的 MMLU 分数，这表明在参数预算限制下持续学习的可行性，尽管与整体训练相比，最终的困惑度有所权衡。