AutoNorm-S

新的AutoNorm-S策略增强了Transformer在NLP任务中的归一化

研究人员推出了一种名为AutoNorm-S的新型训练策略，旨在改进Transformer模型中的自适应归一化。该策略通过采用无门控调度来解决优化不稳定性问题，尤其是在语言建模任务中。实验表明，AutoNorm-S在PTB和SST-2等基准测试中取得了具有竞争力或更优的性能，在NLP数据集上优于现有的自适应归一化方法，同时在视觉任务上仍然有效。