Phi-4B

HiFA4在Ascend NPU上实现LLM推理的4位FlashAttention

研究人员开发了HiFA4，一种在Ascend HIF4 NPU上以4位执行FlashAttention操作的新型训练后设计，旨在提高LLM推理效率。该方法结合了两种关键机制：用于重新缩放注意力权重的Smooth-QK和用于累积softmax归一化器的P-Reordering。在包括Qwen3-8B和Gemma2-9B在内的五个LLM上的评估表明，HiFA4显著降低了量化引起的准确性回归和决策漂移，并在MMLU得分方面取得了显著改进。