PulseAugur
中
实时 06:05:28
English(EN) DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers

DopQ-ViT 提高了 Vision Transformer 的量化效率

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的后训练量化方法 DopQ-ViT，旨在提高 Vision Transformer (ViT) 的效率。该方法通过与后 Softmax 激活的幂律分布对齐并减轻缩放因子中离群值的影响，来解决低比特量化中的性能下降问题。DopQ-ViT 采用了一种新的 Tan Quantizer (TanQ) 和一个 MAD 引导的最优缩放因子 (MOSF)，在分类和检测任务上取得了比现有方法更好的性能。 AI

影响 提高了 Vision Transformer 的效率，可能使其在资源受限的环境中得到更广泛的部署。

排序理由 该集群包含一篇详细介绍新模型量化方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DopQ-ViT 提高了 Vision Transformer 的量化效率

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Lianwei Yang, Haisong Gong, Haokun Lin, Yichen Wu, Caifeng Shan, Zhenan Sun, Qingyi Gu ·

    DopQ-ViT：面向分布友好和离群点感知的 Vision Transformer 后训练量化

    arXiv:2408.03291v4 Announce Type: replace Abstract: Vision Transformers (ViTs) have gained significant attention, but their high computing cost limits the practical applications. While post-training quantization (PTQ) reduces model size and speeds up inference, it often degrades …

相关实体

相关话题