SATFormer

SATFormer通过选择性访问早期表征来改进Transformer模型

研究人员推出了一种新颖的架构——选择性访问Transformer（SATFormer），它通过允许选择性地访问早期层表征来增强Transformer模型。这种方法将早期表征的重用视为一个由上下文相关门控控制的检索问题，而不是一个固定的连接问题。SATFormer在各种模型规模上持续改进了验证损失和零样本准确率，在检索密集型基准测试中优于静态值残差方法，同时保持了可比的效率。