Dynamic Mask Attention

无参数稀疏注意力通过数据压缩实现效率提升

研究人员开发了一种新颖的、无需参数的自适应稀疏注意力方法，用于 Transformer 模型，利用数据压缩技术动态选择长程注意力相关的关键内容块。该方法借鉴了 GZIP 等经典压缩算法的思路，识别信息丰富且不易压缩的片段，从而在不增加可学习参数或专用硬件的情况下提高注意力效率。在 PG-19 数据集上的实验表明，与固定注意力模式和其他自适应方法相比，该方法在逐字节语言建模性能上有了显著提升，收敛速度更快，并且在处理长序列时具有更好的可扩展性。