Flexformer

Flexformer 引入可学习注意力核以实现高效Transformer

研究人员推出了一种新颖的线性Transformer架构Flexformer，旨在克服传统Transformer的二次复杂度限制。Flexformer通过以数据驱动的方式学习注意力核来实现这一点，利用具有可训练频谱频率的随机傅里叶特征。这种方法具有更强的表达能力，并在语言建模和序列分类任务上展现出优于现有方法的性能。此外，Flexformer可以从预训练Transformer中蒸馏，并有望实现高效的长序列处理。