Ampere GPUs

新的INT8内核加速消费级GPU上的Diffusion Transformer

研究人员开发了一种融合INT8 GEMM内核，可显著加速消费级安培GPU上的Diffusion Transformer。该新内核允许利用硬件的INT8张量核心，克服了之前使INT8比FP8和NF4替代方案慢的软件限制。优化后的内核实现了2.8-4.2倍更快的GEMM操作，并在更高分辨率下提供了约1.1倍的整体图像生成速度提升，使得在单个消费级GPU上生成1024px图像成为可能。