Dead-Direction Conditioners

新的Dead-Direction Conditioners改进深度网络优化

研究人员开发了Dead-Direction Conditioners (DDC)，一种用于深度神经网络的新型预处理方法，旨在提高优化稳定性和性能。DDC利用规范等变性将优化轨迹保持在对称商上，从而提高学习率的可读性。与AdamW等标准优化器相比，该方法在抵抗语言模型过拟合崩溃和在视觉Transformer中实现更低验证损失方面取得了显著改进。