English(EN) Low-Dimensional High-Leverage Subspace Optimization: Beyond Full-Parameter Coupled Training for Neural Network Quantization

新方法提升神经网络量化精度

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-05 04:00

研究人员开发了一种名为归一化仿射预处理（NAP）的新方法来改进神经网络量化。该技术针对低维高杠杆子空间，特别是归一化仿射参数，这些参数已被确定为量化鲁棒性的关键。NAP 可用于训练后量化（PTQ），在重建前微调仿射参数，以及用于一种新颖的交替方案，用于量化感知训练（QAT），该方案将特征学习与数值校准分离。在 ImageNet 和 CIFAR-100 上的实验表明，NAP 可显著提高低比特量化精度，并且在极低的调优成本下优于标准的 QAT。 AI

影响这项研究提供了一种更有效的方法来量化神经网络，有可能在不显著损失精度的情况下减小模型大小和推理成本。

排序理由关于神经网络量化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Peng Xia, Junbiao Pang, Zheng Huang · 2026-08-05 04:00

Low-Dimensional High-Leverage Subspace Optimization: Beyond Full-Parameter Coupled Training for Neural Network Quantization

arXiv:2608.03919v1 Announce Type: new Abstract: Low-bit quantization suffers severe accuracy degradation on compact networks, rooted in the dominant full-parameter coupled training paradigm that ignores parameter subspace heterogeneity. Their limited feature redundancy leaves lit…

报道来源 [1]

Low-Dimensional High-Leverage Subspace Optimization: Beyond Full-Parameter Coupled Training for Neural Network Quantization

相关实体

相关话题