研究人员开发了 FuTransformer，一种用于 NVIDIA Hopper GPU 上 Llama 式推理的新型 CUDA 实现。该系统通过在预填充阶段采用 FP8 精度，在解码阶段采用 INT4 精度，显著提升了性能，优化了预填充和解码阶段。与现有的 PyTorch FP8 实现相比，FuTransformer 的预填充速度最高可提高 1.48 倍，并且 INT4 解码速度比同类方法快 1.3-2.4 倍，同时对困惑度（perplexity）的影响极小。 AI
影响 在特定硬件上提升 Llama 式模型的推理速度，可能降低延迟和计算成本。
排序理由 详细介绍 LLM 推理新实现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
