ConvPE

ConvPE：卷积位置嵌入增强Transformer模型

一种名为ConvPE（卷积位置嵌入）的新方法已被开发出来，以提高Transformer模型的性能和效率。该技术使用轻量级因果卷积将内容相关的偏置集成到注意力分数中。ConvPE被设计为一种即插即用型方法，与RoPE和注意力掩码等现有方法兼容，并可应用于语言建模、长上下文任务和视觉应用。实验表明，ConvPE在性能上超越了多个一维和二维基线。