Yuxuan Xiao

INTRA稀疏注意力通过新颖的中继通信提升Transformer效率

研究人员推出了一种新颖的稀疏注意力机制INTRA，旨在提高Transformer模型的效率。INTRA采用交错的非连续标记方法，将注意力视为计算查询集约束下的中继通信过程。该方法利用互补稀疏组在层之间创建短通信路径，从而增强全局可达性并优化GPU硬件。INTRA在图像生成和长上下文预填充效率等各种任务上都展示了显著的速度提升和性能改进。