LZ78

权重对编码减小神经网络语法大小

研究人员开发了一种名为权重对编码（WeightPE）的新技术，旨在通过诱导更小的语法来减小神经网络权重的尺寸。该方法将Re-Pair压缩器集成到直通估计器中，允许显式微调网络权重以进行语法压缩。在CIFAR-10上微调的Vision Transformer模型上的实验表明，与标准量化方法相比，WeightPE实现了显著更小的Re-Pair语法，尽管准确性略有下降。