RobuQ

RobuQ 框架使扩散 Transformer 能够在超低比特精度下运行

研究人员开发了 RobuQ，一个旨在显著降低图像生成扩散 Transformer (DiTs) 计算和内存成本的新框架。该方法侧重于鲁棒激活量化，使 DiTs 能够在极低的比特设置下运行，特别是在 ImageNet-1K 上实现稳定的图像生成，激活量化平均为 2 比特。该框架引入了如 RobustQuantizer 和仅激活混合精度网络管道等新技术，以克服量化 DiT 激活的挑战。