MAD-guided Optimal Scaling Factor

DopQ-ViT 提高了 Vision Transformer 的量化效率

研究人员推出了一种新颖的后训练量化方法 DopQ-ViT，旨在提高 Vision Transformer (ViT) 的效率。该方法通过与后 Softmax 激活的幂律分布对齐并减轻缩放因子中离群值的影响，来解决低比特量化中的性能下降问题。DopQ-ViT 采用了一种新的 Tan Quantizer (TanQ) 和一个 MAD 引导的最优缩放因子 (MOSF)，在分类和检测任务上取得了比现有方法更好的性能。