softmax transformers

新理论探索用于上下文学习的线性 Transformer

研究人员调查了用于上下文学习的线性 Transformer 的理论基础，解决了传统 softmax Transformer 的计算限制。该研究提出线性 Transformer 从上下文分布学习到响应函数的映射，并通过领域泛化视角分析其近似和泛化能力。基于此理论框架，该论文引入了新颖的激活和损失设计方法，以线性化预训练的 softmax 大型语言模型。