\(\\mu\)-Internal

ShellElastic 为基础模型提供可扩展的弹性预训练

研究人员开发了 ShellElastic，一种新颖的基础模型训练方法，可高效支持多样化的推理预算。该方法在单个超网内训练嵌套的子网络，克服了可变工作负载、有限的超参数迁移以及确保所有子网络同时更新等挑战。ShellElastic 将隐藏维度组织成一个密集核心和连续的层，从而实现固定的计算图和成本效益高的训练。该系统还引入了 \(\\mu\)E，这是最大更新参数化的一个扩展，它保证所有子网络都得到最大程度的更新，并跨不同模型尺寸保持最优超参数。