Feng-Ting Liao

沙漏型Transformer比传统模型更具效率优势

研究人员开发了“沙漏型Transformer”，这是一种新颖的语言模型架构，偏离了传统的窄-宽-窄前馈网络（FFN）设计。通过采用沙漏型子MLP和沙漏型注意力机制，这些模型在113M到8B参数的各种规模下，表现与标准Transformer相当。值得注意的是，沙漏型Transformer在训练计算效率方面提高了高达8.7%，并且在长上下文扩展后，提供了更快的令牌解码速度和更低的KV缓存内存需求，使其成为注重效率设计的实用替代方案。