Hierarchical Residuals

分层残差通过解耦残差宽度来提高Transformer的效率

研究人员推出了一种新颖的Transformer架构修改方法——分层残差（HiRes），该方法将残差宽度与计算宽度解耦。该方法将层分组到块中，在块内使用标准的密集层，并在它们之间使用更宽的残差连接，通过学习到的投影进行桥接。与传统的残差连接和其他扩展方法相比，HiRes在FLOPs效率和激活内存方面表现出改进，并在预训练损失和下游准确性方面显示出有希望的结果。