The Sign Code

新研究表明，神经元符号而非其幅度是深度网络准确性的驱动因素

一篇题为《符号编码：深度网络的隐藏二元本质》的新研究论文提出，在参数过多的视觉模型中，神经元输出的二元符号而非其幅度，是分类准确性的主要驱动因素。研究表明，仅使用这些二元符号的分类器可以达到与完整模型相当的性能，即使随机化幅度对性能的影响也很小。相反，改变一小部分符号会严重降低准确性，这表明离散的符号编码是这些网络更基本的分析单元。