FuTransformer

FuTransformer 通过 Hopper GPU 上的 FP8 和 INT4 加速 Llama 推理

研究人员开发了 FuTransformer，一种用于 NVIDIA Hopper GPU 上 Llama 式推理的新型 CUDA 实现。该系统通过在预填充阶段采用 FP8 精度，在解码阶段采用 INT4 精度，显著提升了性能，优化了预填充和解码阶段。与现有的 PyTorch FP8 实现相比，FuTransformer 的预填充速度最高可提高 1.48 倍，并且 INT4 解码速度比同类方法快 1.3-2.4 倍，同时对困惑度（per…