SpecKCast

SpecKCast 使用频域卡尔曼滤波加速扩散 Transformer

研究人员开发了 SpecKCast，这是一种新颖的无需训练的方法，旨在加速扩散 Transformer，后者常用于图像和视频生成。该技术使用针对特定频带定制的卡尔曼滤波器在频域中预测 Transformer 的输出。仅当预测的不确定性超过设定的阈值时，才会调用扩散 Transformer，从而在内存占用极少的情况下实现高达 6 倍的速度提升。