Normalization Affine Preconditioning

新方法提升神经网络量化精度

研究人员开发了一种名为归一化仿射预处理（NAP）的新方法来改进神经网络量化。该技术针对低维高杠杆子空间，特别是归一化仿射参数，这些参数已被确定为量化鲁棒性的关键。NAP 可用于训练后量化（PTQ），在重建前微调仿射参数，以及用于一种新颖的交替方案，用于量化感知训练（QAT），该方案将特征学习与数值校准分离。在 ImageNet 和 CIFAR-100 上的实验表明，NAP 可显著提高低比特量化精度，并且在极低的调优成本下优于标准的 QAT。