H100 SXM

INT4 仅权重量化：解码加速、Prefill 停滞解析

仅权重 INT4 量化虽然能有效减少内存流量并加速 LLM 推理的解码阶段，但并不能改善 Prefill 阶段。这是因为 Prefill 是计算密集型的，即它受限于 GPU 的处理能力而非内存带宽。INT4 权重所需的解量化过程会增加开销，抵消了 Prefill 阶段的任何潜在收益。对于计算密集型场景，建议的替代方案是量化激活或接受 INT4 以获得容量优势。