Zohra

新研究揭示混合Transformer-SSM模型中的学习率迁移

一篇新研究论文探讨了混合架构的学习率（LR）缩放问题，该架构结合了Transformer和状态空间模型（SSM）模块，这些模块越来越多地用于生产语言模型中。研究发现，这些混合模型的实际实现，即使使用了简化的SSM，在各种宽度和深度下（高达十亿参数规模）也表现出接近零的学习率迁移差距。这种不变性归因于$\mu$P的初始化和学习率缩放，以及AdamW的逐参数归一化，它们共同维持了全局更新到权重的 Invariance 和局部组件的平衡。