Qwen3-0.6B-style

新型优化器尊重神经网络对称性，提升训练效果

研究人员提出了一种新的深度学习优化器设计原则，该原则与神经网络架构的内在对称性相符。与目前逐坐标操作参数的Adam等优化器不同，所提出的对称性兼容优化器被设计成对不同权重块的特定对称群具有等变性。这种方法已应用于嵌入层、LM头、SwiGLU MLP和MoE路由器等各种组件，产生了新颖的更新规则。在语言模型上的实验表明，与标准的AdamW相比，这些新型优化器在验证损失和训练稳定性方面持续得到改善。