Distortion Budget

DecoupAttn 使用解耦稀疏注意力加速视频扩散

研究人员推出了一种名为 DecoupAttn 的新方法，通过采用解耦稀疏注意力来加速视频扩散 Transformer。该方法精确计算关键模块，同时补偿其他模块，解决了识别开销和次优预算分配等挑战。DecoupAttn 使用失真预算进行分配，并使用重新分配缓存机制来管理漂移键，所有这些都无需额外训练。使用校准剪辑离线编译单个计划，从而能够使用标准内核和融合补偿内核进行高效推理。