PulseAugur
中
实时 00:46:32
English(EN) Weight Pair Encoding: Inducing a Smaller Grammar in Neural Network Weights

权重对编码减小神经网络语法大小

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为权重对编码（WeightPE）的新技术，旨在通过诱导更小的语法来减小神经网络权重的尺寸。该方法将Re-Pair压缩器集成到直通估计器中，允许显式微调网络权重以进行语法压缩。在CIFAR-10上微调的Vision Transformer模型上的实验表明，与标准量化方法相比，WeightPE实现了显著更小的Re-Pair语法，尽管准确性略有下降。 AI

影响 这项研究可能通过减小存储占用的方式，带来更高效的神经网络模型。

排序理由 该集群包含一篇详细介绍神经网络权重压缩新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

权重对编码减小神经网络语法大小

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Irene Tallini, Daniele Solombrino, Alberto Cazzaniga, Emanuele Rodol\`a ·

    权重对编码：在神经网络权重中诱导更小的语法

    arXiv:2609.31564v1 Announce Type: new Abstract: We show that neural network weights can be explicilty fintuned to admit a smaller grammar. Weight Pair Encoding (WeightPE) does so by placing a lossy Re-Pair compressor inside a straight-through estimator. The int8 weights of the ne…

相关实体

相关话题