Rao Fu

全循环Transformer提高了训练稳定性和性能

研究人员开发了一种全循环Transformer架构，以解决迭代Transformer模型中的训练不稳定性问题。这种新架构引入了无参数修改，包括全循环架构和注意力注入，以减轻梯度振荡和残差爆炸。这些增强功能使得训练最多12次循环迭代成为可能，性能优于基线循环模型，并将下游任务性能提高了13.2%。全循环Transformer还通过在推理时调整循环迭代次数以适应不同的计算预算，提供了适应性。