PulseAugur
中
实时 08:37:01
English(EN) HiFA4: Training-Free 4-bit FlashAttention on Ascend HIF4 NPUs for LLM Inference

HiFA4在Ascend NPU上实现LLM推理的4位FlashAttention

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了HiFA4，一种在Ascend HIF4 NPU上以4位执行FlashAttention操作的新型训练后设计，旨在提高LLM推理效率。该方法结合了两种关键机制：用于重新缩放注意力权重的Smooth-QK和用于累积softmax归一化器的P-Reordering。在包括Qwen3-8B和Gemma2-9B在内的五个LLM上的评估表明，HiFA4显著降低了量化引起的准确性回归和决策漂移，并在MMLU得分方面取得了显著改进。 AI

影响 这项研究通过在不显著损失准确性的情况下实现低比特量化，有望在专用硬件上实现更高效的LLM推理。

排序理由 该集群描述了在arXiv上的一篇学术论文中提出的一种新颖技术方法。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

HiFA4在Ascend NPU上实现LLM推理的4位FlashAttention

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Hui Dong, Yanzhao Li, Jie Gao, Chunlu Li, Zhiyuan Zhang, Yupeng Sun, Zhenyuan Chen, Zhiqiang Zou ·

    HiFA4: 在昇腾HIF4 NPU上进行LLM推理的免训练4位FlashAttention

    arXiv:2607.04302v1 Announce Type: cross Abstract: We present HiFA4, a post-training operator-level design that executes both QK^T and PV in FlashAttention as 4-bit HIF4 Cube GEMMs for LLM inference on Ascend NPUs, while maintaining the online softmax state in FP16. To our knowled…

  2. arXiv cs.CL TIER_1 English(EN) · Zhiqiang Zou ·

    HiFA4: 在昇腾HIF4 NPU上进行LLM推理的无训练4位FlashAttention

    We present HiFA4, a post-training operator-level design that executes both QK^T and PV in FlashAttention as 4-bit HIF4 Cube GEMMs for LLM inference on Ascend NPUs, while maintaining the online softmax state in FP16. To our knowledge, HiFA4 is the first Ascend-HIF4-targeted design…

相关实体

相关话题