stochastic OPTQ

新研究分析OPTQ算法的泛化行为和正则化

研究人员分析了用于神经网络压缩的OPTQ算法的泛化行为，重点关注其渐进式量化权重以最小化平方误差。他们推导出了从固定分布中抽取测试点时的期望平方误差的界限，将泛化误差与校准数据集误差联系起来，并对各种分布下的随机OPTQ的误差进行了界限分析。该研究强调了正则化项 \lambda 的关键作用，并提出了新的选择建议，该建议与之前的文献相比，在实验结果上表现更优。