VWN

分层残差通过解耦宽度维度来提高Transformer的效率

研究人员推出了一种新颖的Transformer架构修改方法——分层残差（HiRes），它将残差宽度与计算宽度解耦。该方法通过拓宽残差状态同时保持固定的每层计算宽度，从而提高了训练效率和下游任务的准确性。实验表明，HiRes在FLOPs效率方面提供了1.30倍的提升，并在OLMoE-1B-7B预训练任务上取得了比标准残差加法更好的结果。