Kronecker-factored Hessian

新的WaterKron方法利用克罗内克因子化的Hessian改进AI模型量化

研究人员开发了WaterKron，一种利用克罗内克因子化Hessian近似进行训练后量化的新方法。该方法结合了双面GPTQ、水填充尺度和熵编码，引入了一个因子$\Phi$来量化克罗内克近似的失真惩罚。最小化该因子会导致FlipFlop Hessian，这得到了率失真理论的证明，并且在经验上显示与其他的Hessian近似方法相比，可以改善KL散度和困惑度。