SparseGDN

SparseGDN框架提升长上下文线性注意力效率

研究人员开发了SparseGDN，一个旨在提高序列建模中线性注意力机制效率的新框架。该方法通过引入结构化块内近似和依赖输入的循环事件选择，解决了长上下文预填充的计算成本问题。该框架的GPU实现选择性地物化更新并重建token输出，从而显著加快了预填充操作的速度。在Qwen3.5模型上的评估表明，在保留相当一部分循环事件的同时，性能得到了显著提升。